本书从实际应用出发，把生活中常见的人机交互技术进行拆分。从硬件、软件和系统三个层次，用难易不同的语言描述多模态人机交互技术。用时间、空间的眼光，为读者介绍不同场景下的多模态人机交互技术。近几年随着大数据、人工智能、深度学习的浪潮的推动，人机交互技术也由机器检测人、人操作机器的简单方式转变为人辅助机器、机器配合人的人机共融方式。 本书的多模态人机交互技术涉及多模式传感器层面的视觉传感器、体感传感器、体表传感器、眼动传感器、语音传感器等多种传感器；涉及传统的基于特征提取和目前流行的基于深度学习、Transformer等的人机交互识别方式；涉及人机交互中操作员控制机器、机器感知操作员状态的人机交互方式；涉及人机交互中多模式下的任务规划和协同感知；涉及人机交互中的安全等。

第1章 绪论
1.1 多模式人机操作
1.2 多模式人机协同感知规划
1.3 试验验证情况
第2章 多模式人机交互构成及交互方式
2.1 基于多传感器测量的操作员状态监视模块
2.2 多传感器融合的神经网络语义学习方法
2.3 基于多传感器输入的多无人机混合主动控制模块设计
2.4 监督控制系统初步实现与仿真验证
2.5 总结
第3章 手势识别交互
3.1 手势识别传感器
3.2 基于视觉特征学习的手势特征提取
3.3 基于视觉特征学习的手势特征识别
3.4 基于深度学习的手势识别
3.5 手势在交互中的应用
3.6 总结
第4章 人体姿态识别交互
4.1 人体骨架模型
4.2 深度相机的人体骨架提取
4.3 单可见光相机的人体骨架提取
4.4 人体姿态识别
4.5 多传感器融合的姿态识别
4.6 人体姿态识别在交互中的应用
4.7 总结
第5章 眼动跟踪交互
5.1 眼睛视线跟踪模型
5.2 基于视觉的眼睛定位及状态检测
5.3 眼动仪检测定位
5.4 眼动跟踪交互应用
5.5 总结
第6章 面部表情交互
6.1 表情模型
6.2 面部表情特征提取方法
6.3 基于深度学习的面部表情识别
6.4 人脸表情识别常见传感器
6.5 面部表情交互应用
6.6 总结
第7章 语音交互
7.1 语音模型
7.2 语音识别
7.3 语音情感识别
7.4 麦克风阵列语音交互
7.5 语音交互应用
7.6 总结
第8章 脑电信号交互
8.1 脑电信号模型
8.2 基于脑电信号的情感识别
8.3 脑电信号与睡眠的关系
8.4 脑电信号与疲劳关系
8.5 脑电信号与注意力关系
8.6 脑电信号控制
8.7 脑电信号检测过程
8.8 脑电信号的应用
8.9 总结
第9章 其他交互方式
9.1 情绪识别
9.2 触觉识别
9.3 鼠标、键盘、笔式交互
9.4 唇语识别
9.5 总结
第10章 视觉感知
10.1 基于视觉的无人车多任务感知
10.2 基于点云的无人车障碍物检测研究
10.3 图像语义理解
10.4 总结
第11章 路径规划
11.1 常用的路径规划算法
11.2 基于梯度平滑A*算法的无人车路径规划
11.3 RRT算法与Dubins曲线融合航线规划方法
11.4 总结
第12章 多模式人机操作及协同感知规划实验设计
12.1 可解释性的人-无人机交互操作
12.2 多模式人机协同感知／规划性能参数
12.3 多模式人机交互操作实验平台设计
12.4 基于深度学习的多模式人机交互操作技术
12.5 基于多模式人机混合主动控制
12.6 总结
第13章 人机交互安全
13.1 人机交互中操作员的安全
13.2 人机交互中的身份信息确认
13.3 数据安全
13.4 总结
参考文献