《多媒体信息的融合分析与综合检索》以典型相关性分析为突破点，研究了图像的音频在内容特征上潜在的统计关系，并且在特征降维的同时最大程度地保持了相关性学习结果，从而通过自定义的距离函数实现了跨媒体的相关性度量；还进一步提出了基于增量学习的相关反馈机制，从用户交互过程中提取先验知识，以修正图像和音频数据在同构子空间中的拓扑结构，从而有效缩小了底层内容与高层语义之间的鸿沟，提高了跨媒体检索效率。

第一部分 信息检索概述
第一章 基于文本的信息检索
1.1 基本概念
1.2 纯文本信息的检索
1.2.1 技术背景
1.2.2 经典模型
1.3 基于关键字的多媒体检索
1.4 本章 小结

第二章 基于内容的多媒体检索——以CBIR为例
2.1 基本概念
2.2 关键技术
2.2.1 特征提取
2.2.2 高维特征索引
2.2 3 相似度计算模型
2.2.4 相关反馈
2.3 CBIR相关工具和项目
2.3.1 国外CBIR开发简介
2.3.2 数字图书馆中基于内容的多媒体检索
2.4 本章 小结

第二部分 多媒体信息的结构化表达
第三章 图像的特征提取和降维
3.1 基本概念
3.1.1 数字图像的组成和存储模式
3.1.2 广义的特征类型和特征表达方式
3.2 视觉特征的类型和计算方法
3.2 1 颜色特征
3.2 2 纹理特征
3.2.3 形状特征
3.3 特征降维技术
3.3.1 主成分分析
3.3.2 独立成分分析
3.3.3 典型相关性分析
3.3.4 奇异值分解
3.3.5 多维尺度分析
3.3.6 非线性降维方法
3.4 本章 小结

第四章 音频时序性特征的计算方法
4.1 音频窗口
4.2 听觉特征的类型和计算方法
4.2.1 时域特征
4.2.2 频域特征
4.2.3 压缩域特征
4.2.4 特征计算的基本单位
4.3 基于听觉特征的音频分析与应用
4.3.1 音频流的自动分割
4.3.2 基f内容的音频检索
4.3.3 音乐信号分析
4.4 本章 小结

第五章 视频多通道特征的结构化方法
5.1 视频结构化的概念
5.2 关键帧的提取方法
5.3 视频镜头的自动分割
5.3.1 镜头变换
5.3.2 摹本的分割方法
5.4 基于视频的人脸识别
5.5 视频数据的融合分析
5.6 本章 小结

第三部分 基于异构特征融合分析的跨媒体检索
第六章 跨媒体检索基础知识
6.1 什么是跨媒体
6.1 1人脑认知的跨媒体特性
6.1.2 跨媒体的主要研究范畴
6.1.3 跨媒体检索的研究意义
6.2 跨媒体检索的相关研究
6.2.1 多媒体特征的融合分析
6.2.2 多媒体关联挖掘
6.2.3 跨语言检索
6.2.4 基于音频的说活人脸检测
6.2 多媒体交叉索引
6.3 本章 小结
……
附录
参考文献
致谢