第1章 多模交互的演进
1.1 什么是多模交互
1.1.1 人机交互的发展历史
1.1.2 多模交互的定义
1.1.3 多模交互技术逐渐成熟
1.1.4 多模融合的三个阶段
1.2 初步融合阶段
1.2.1 多模态之间的关系
1.2.2 多模融合的关键
1.2.3 多模交互框架
1.3 语义理解阶段
1.3.1 什么是语义
1.3.2 语义对于多模交互的重要性
1.4 任务自适应阶段
1.4.1 认知负荷
1.4.2 隐私性
1.4.3 安全性
1.4.4 模态容量
1.4.5 信息重要程度和交互历史
1.4.6 交互距离
1.5 当前我们能做什么
第2章 多模交互包含什么
2.1 视觉系统的特点
2.1.1 视觉范围
2.1.2 3.5毫米的中央凹和每秒3～4次的跳动频率
2.1.3 中央视觉和周围视觉
2.1.4 我们是如何阅读的
2.1.5 光亮与黑暗
2.2 听觉
2.2.1 听觉系统的特点
2.2.2 视觉和听觉的区别
2.3 触觉
2.3.1 触觉系统的特点
2.3.2 触觉感知的相关应用
2.4 嗅觉、味觉和五感理论
2.4.1 嗅觉系统和味觉系统的特点
2.4.2 嗅觉营销相关案例
2.4.3 嗅觉交互上的探索
2.4.4 嗅觉和味觉设计存在的问题
2.4.5 五感理论
2.5 主动交互
2.5.1 包含情绪的语音
2.5.2 肢体动作
2.5.3 手势
2.5.4 面部表情
2.5.5 眼神
2.6 无须主动交互的生物识别技术
2.6.1 指纹识别
2.6.2 人脸识别
2.6.3 虹膜识别
2.6.4 声纹识别
2.6.5 心率检测
2.6.6 肌肉电信号
2.6.7 脑电波
第3章 语音交互设计
3.1 声音的构成和作用
3.1.1 语言
3.1.2 音乐和音效
3.2 语音交互的特点
3.2.1 语音交互的优势
3.2.2 语音交互的不足
3.2.3 语音交互的五大特性
3.3 创造一位智能语音助手
3.3.1 寻找合适的音色
3.3.2 确定智能语音助手和用户的关系
3.3.3 构建智能语音助手的用户画像
3.3.4 设计合理的唤醒词
3.4 语音交互框架、意图设计
3.4.1 四种语音交互模式
3.4.2 四种“唤醒+识别”方式
3.4.3 语音交互状态设计
3.4.4 意图设计术语介绍
3.4.5 智能语音平台如何听懂用户说的话
3.4.6 设计能听懂用户说什么的智能语音产品
3.5 对话设计原则
3.5.1 设计对话前需要了解的事项
3.5.2 任务型对话设计原则
3.5.3 修复对话设计原则
3.6 语音交互的GUI设计
第4章 仍在起步的隔空手势交互
4.1 手势的介绍
4.1.1 手势交互的发展
4.1.2 手势的分类
4.2 隔空手势设计
4.2.1 设计隔空手势时需要考虑的问题
4.2.2 导航手势
4.2.3 语义手势
4.2.4 操纵手势
4.3 结合隔空手势的UI设计
4.3.1 数字手部
4.3.2 直接触摸
4.3.3 指针设计
4.3.4 交互组件的改造
第5章 语音图形界面
5.1 GUI和VUI的区别
5.1.1 GUI的特点
5.1.2 VUI的特点
5.1.3 GUI和VUI融合时会遇到的问题
5.2 GUI和VUI融合的三种实现方式
5.2.1 应用级语音交互
5.2.2 可见即可说
5.2.3 系统级语音交互
5.3 VGUI设计原则
5.4 重构GUI操作
5.4.1 GUI控件文案设计
5.4.2 GUI组件和容器文案设计
5.4.3 特殊的控件和组件
5.5 VGUI核心设计要点
5.5.1 全局指令和局部指令的权衡
5.5.2 控件/组件属性的重构
5.5.3 手势的融合
第6章 跨设备和多模交互
6.1 跨设备交互是什么
6.1.1 跨设备和多模交互的关系
6.1.2 跨设备交互的六个维度
6.2 浅谈跨设备和多模交互细节
6.2.1 结合用户场景进行考虑
6.2.2 结合信息密度和显示距离进行考虑
6.2.3 模态的过渡和打断
6.3 未来可期
6.3.1 面向未来的分布式操作系统
6.3.2 普适计算及未来
展开
