《飞机驾驶舱人机智能交互建模理论与设计方法》面向飞机驾驶舱人机交互智能化的发展趋势，遵循互补式人机智能交互技术向混合式人机智能交互技术的演进路线，从人机智能交互信息语义建模方法、人机智能交互网络建模方法、多模态人机智能交互设计方法（触控交互、语音交互、体感交互、眼动交互）、人机交互异常行为监测方法、人机交互意图识别方法、人机界面重构与负荷均衡方法、人机演化博弈与智能协作机制等方面，深入论述飞机驾驶舱人机智能交互的基本原理、建模理论、关键技术与设计方法，探讨多通道人机智能交互信息如何组织、多模态人机智能交互生态如何设计、人机系统决策冲突如何消解等问题，创建面向智能交互的飞机驾驶舱人机交互理论、模型与方法体系，为飞机驾驶舱人机智能交互设计、评估、适航验证与审定提供科学依据、理论支撑和解决途径。

第1章绪论
　　1.1引言
　　飞机驾驶舱是飞行员执行任务的主要场所，舱内集成了供飞行任务所需的所有人机交互设备。在人机交互过程中，飞行员与机载系统之间形成的互相依赖、互相约束关系很大程度上影响着任务绩效［12］，飞机驾驶舱人机交互设计水平的高低是飞行员能否安全、高效完成飞行任务的基础和关键。从技术水平上看，军机驾驶舱人机系统的发展整体上领先于民机驾驶舱人机系统，军机驾驶舱人机系统的设计更关注于提高飞行员工作效率和发挥飞机性能水平，而民机驾驶舱人机系统的设计以安全性为核心目标，任何新颖的技术必须在成熟发展并充分满足适航要求之后才能体现在民机驾驶舱人机系统的设计中。因此，先进显示控制技术往往优先在军机驾驶舱人机系统中得到应用。
　　迄今为止，军机驾驶舱的发展大致可划分为六个阶段。**次世界大战期间，典型战斗机驾驶舱布局与当时的汽车、火车驾驶舱室布局类似，控制面板上只装备了简单的刻度盘和指示器，方向舵脚蹬、中央驾驶杆和左手油门杆为主要的飞行控制设备。到了第二次世界大战时期，战斗机普遍采用了封闭式增压驾驶舱设计，飞行仪表可指示飞机飞行状态、发动机温度和压力等重要信息，飞行员也可通过多种辅助控制设备来操纵飞机［3］。20世纪60年代，战斗机驾驶舱仪表板上装备了飞行姿态、马赫数、发动机、无线电通信、无线电信标导航、告警、雷达等显示装置，此外还出现了显示雷达波探测物体的阴极射线管（cathode ray tube， CRT）显示器。20世纪70年代，典型战斗机驾驶舱前仪表板上安装了CRT显示器、平视显示器及大量的机电指示仪，通过操纵台和仪表控制板上的按钮，飞行员可控制新引入的导航、通信和武器瞄准计算机系统［4］。20世纪80年代后期，随着计算机技术的快速发展，机载系统全面采用了数字化电子控制技术，推动了玻璃化驾驶舱的出现［5］，*有代表性的特征为三块多功能显示器布局，综合、有序、简洁的显控方式为飞行员提供了大量战术、地图、机电系统的状态信息，飞行员得以通过按键、开关、旋钮等实体与机载系统进行交互。21世纪以来，以F35为代表的新一代战斗机的驾驶舱充分采用了*新技术成果，“简约”成为驾驶舱设计的*大亮点，大屏幕多功能显示器取代了多显示器，飞行员可以直接通过触控的方式调整信息显示方式和布局；此外，语音控制系统取代了大量的键盘输入工作，头盔综合显示器完全替代了平视显示器，飞行员得以将注意力放在战术运用而非烦琐的交互操作上。
　　民机驾驶舱和军机驾驶舱在早期的发展上区别有限。**次世界大战前后的民机驾驶舱内也集成了简单的机械式仪表，包括气压高度表、空速表、磁罗盘、发动机转速表等，飞行员通过机械式操纵装置进行飞机控制。在第二次世界大战前后逐步发展起来的无线电导航、仪表着陆系统、飞行指引仪表系统等技术实现了飞行员与飞机之间的多层面信息交互，驾驶舱仪表面板逐步向集成化、综合化发展。与军机驾驶舱一致，20世纪70～80年代，电子信息技术的进步推动了民机玻璃驾驶舱的发展，多电子显示单元、系统仪表在驾驶舱显控面板上集成，电子姿态指引仪（electronic attitude director indicator， EADI）和电子水平状态指示器（electronic horizontal situation indicator， EHSI）出现并组成综合电子飞行仪表系统（electronic flight instrument system， EFIS）；与此同时，按键、开关、旋钮等机械控制方式也未被完全摒弃［6］。到了以B787、A380为代表的民机驾驶舱，电子显示屏进一步向大屏化发展，并通过增强显示的方式提高了信息显示的维度与综合度，同时飞行员得以通过光标与飞机进行计算机式的人机交互，平视显示器的应用也使飞行员可同时观察窗外情况和飞行信息，驾驶舱的整体设计充分体现了新技术与飞行员需求的融合［78］。美国国家航空航天局（National Aeronautics and Space Administration， NASA）在智能驾驶舱集成技术（integrated intelligent flight deck technologies， IIFDT）和自然驾驶舱（naturalistic flight deck， NFD）系统项目中，提出将先进人机交互与显示控制技术作为下一代驾驶舱的重点研发方向［910］。融合触控、语音、眼动、体感等多通道智能交互方式，已成为民机驾驶舱人机系统发展的必然趋势。
　　另一方面，航空运输业的快速发展，对民机安全性、经济性、舒适性等提出了更高要求，通过结构优化、系统集成、冗余设计、新技术应用等手段，飞机综合性能持续提升，驾驶舱设计的新颖性、复杂性和集成性也越来越高。民机驾驶舱人机交互呈现出信息容量大、交互节点多、交互模式单一、交互过程复杂、即时性要求高等特点，极易引发飞行员认知负荷失衡、情景意识丧失、人为差错频发等问题，由驾驶舱人机交互所导致的飞行事故和事故征候不断增加。综合国际航空运输协会（International Air Transport Association， IATA）、国际民航组织（International Civil Aviation Organization， ICAO）、波音公司、空客公司等组织机构近年来关于航空事故的统计数据［1114］，民机驾驶舱人为因素问题关联的事故数量超过了事故总数的60%，已成为导致航空飞行事故*主要的原因之一。
　　民机驾驶舱人机交互导致的风险问题易发、高发，是民机安全性评估与适航审定的重点和难点。为确保民机的设计、制造和运行能够满足必需的安全水平，世界各国或相关国际组织及机构，对民机运行提出了一系列的适航审定要求。在美国联邦航空管理局（Federal Aviation Administration， FAA）和欧洲航空安全局（European Union Aviation Safety Agency， EASA）*新发布的适航规章中，涉及运输类民机驾驶舱人机交互问题的专用适航条款是25.1302。20世纪90年代，FAA和EASA针对驾驶舱人为因素问题联合成立了协调工作组。2007年，EASA在其适航标准第三次修订时正式增加CS 25.1302条款。2013年，FAA在第137号修正案中正式增加FAR 25.1302条款，并同时发布了咨询通告AC 25.13021。在此之前，各国适航规章中的相关条款仅对驾驶舱特定机载设备和系统的设计进行了规定，没有针对驾驶舱人机交互问题给出防止和处理人为差错的相关适航条款。25.1302条款不仅包含了驾驶舱功能与飞行任务相匹配的设计要求，还规定了在驾驶舱中引入新技术之后，应从设计上防止和处理机组差错等人为因素问题的要求。目前，中国民用航空规章运输类飞机适航标准CCAR25R4中尚未引入人为因素专用条款25.1302。在国内民机型号中，已投入航线运营的ARJ21支线客机未针对25.1302条款进行适航符合性验证，而在C919大型客机的适航取证中已增加了人为因素适航符合性的验证工作［15］，但尚未针对25.1302条款形成体系化的适航符合性验证理论、方法与程序。
　　新颖性（novelty）、复杂性（complexity）和集成性（integration）是现代飞机驾驶舱系统*显著的特征，同时也是驾驶舱适航性设计、评估、验证与审定重点关注的因素。近年来，在信息技术与智能控制技术快速发展的背景下，借助于人工智能与大数据的融合，采用超宽超大触摸显示，基于语音控制、眼动追踪、体感交互等新兴多通道人机智能交互方式，引入态势感知、虚拟现实等增强显示技术，逐步提高飞行员与机载系统之间的自然交互程度以降低安全风险，已成为驾驶舱人机系统发展的迫切趋势。目前，航电系统供应商Rockwell Collins、Garmin、Thales、Barco、Honeywell等已将触摸屏引入至波音B777X、空客A350XWB、湾流G500/G600等多个型号民机驾驶舱中，综合集成了飞行显示、飞行规划、机载系统控制等操控功能；欧洲的台风战斗机、美国的F35战斗机驾驶舱已经装备了先进的语音/触摸输入管理系统，利用直接语音输入和触摸控制有效降低了飞行员的工作量，但这一技术尚未应用于民机驾驶舱；在中国商飞大型民机未来智能驾驶舱的概念方案中，已将触控和语音交互等作为主要的人机交互方式。波音B777X、空客A350XWB、湾流G500/G600等民机已引入的触控交互，在一定程度上提升了驾驶舱智能化水平，但交互通道仍较单一。
　　触控、语音、眼动、体感等多通道人机智能交互方式的引入，推动了飞机驾驶舱人机交互向智能、高效、简洁的方向发展，良好的人机智能交互设计有利于均衡飞行员任务负荷、维持飞行员情境意识，高效的人机协作机制有利于减少机组人为差错、提升飞行安全水平。融合应用人机智能交互技术的飞机驾驶舱，具有交互通道多样化、功能分配动态化、人机决策协同化等优势，但同时也为人机协作与适航验证带来了新的挑战，主要包括：
　　（1） 人机智能交互技术体系如何构建，主要体现在目前尚未对飞机智能驾驶舱的概念定义达成广泛共识，尚未建立飞机驾驶舱人机智能交互技术体系架构。
　　（2） 人机智能交互信息如何组织，主要体现在多通道人机智能交互信息呈现出巨量、多维、强耦合等特点，尚未形成系统化、规范化的技术解决途径。
　　（3） 人机系统决策冲突如何消解，主要体现在传统的飞机驾驶舱人机功能分配模式无法实现自适应协作，在智能驾驶舱背景下，智能交互元素具有网络化传输、协同化决策等特点，智能交互事务具有结构非线性、逻辑复杂性等特质，人机系统如何通过自适应协作的方式提高综合效能尚不清晰。
　　（4） 人机智能交互综合效能评估理论方法体系如何构建，主要体现在缺乏支撑人机智能交互综合效能评估的理论方法，如何量化飞机智能驾驶舱的运行品质尚不明确。
　　2016年，国务院发布的《“十三五”国家科技创新规划》指出： 深入实施包括大型飞机在内的国家科技重大专项，开展民机适航审定关键技术研究；发展航空运输技术与装备，开展未来民机产品概念方案论证研究，突破先进航电等技术，为提高民机产品竞争力提供支撑；大力发展安全智能的新一代信息技术，促进信息技术向各行业广泛渗透与深度融合；发展智能交互技术，构建智能交互的理论体系，突破自然交互、生理计算、情感表达等核心关键技术，形成智能交互的共性基础软硬件平台，提升智能交互在设备和系统方面的原始创新能力，并在关键行业形成示范应用，推动人机交互领域研究和应用达到国际先进水平。2017年，国务院发布的《新一代人工智能发展规划》指出： 新一代人工智能关键共性技术的研发部署要以提升感知识别、知识计算、认知推理、运动执行、人机交互能力为重点，形成开放兼容、稳定成熟的技术体系。2022年，交通运输部和科学技术部联合发布的《交通领域科技创新中长期发展规划纲要（2021—2035年）》指出： 加快大型民用飞机、重型直升机、智能化通用航空器等研发，推动完善民用飞机产品谱系化；突破航空器自主适航审定、航空运输广域协同共享与安全可靠服务等技术；发展智慧民航技术，突破有人/无人驾驶航空器融合运行、民航运行多要素透彻感知、宽带移动通信、空地泛在互联、智能融合应用等新一代智慧民航技术。2024年，工业和信息化部、中央网络安全和信息化委员会办公室、国家发展和改革委员会、国家标准化管理委员会联合发布的《国家人工智能产业综合标准化体系建设指南（2024版）》指出： 围绕装备行业，研制智能装备感知、交互、控制、协作、自主决策等标准；规范多通道、多模式和多维度的交互途径、模式、方法和技术要求。
　　结合国家科技创新战略方向，本书面向飞机驾驶舱人机交互智能化发展的迫切需求，遵循互补式人机智能交互技术向混合式人机智能交互技术的演进路线，深入论述飞机驾驶舱人机智能交互技术总体框架，包括基本原理、建模理论、关键技术与设计方法，如图1.1所示。本

目录
第1章绪论001
1.1引言001
1.2国内外技术发展现状005
1.2.1多模态交互理论与方法005
1.2.2人机智能协作关键技术008
上篇互补式人机智能交互技术
第2章基于本体的人机智能交互信息语义建模方法013
2.1引言013
2.2人机智能交互场景要素定义013
2.3飞行员认知行为本体建模017
2.4系统功能行为本体建模021
2.5人机交互行为本体建模029
2.6人机交互情境本体建模036
第3章基于信息流的人机智能交互网络建模方法041
3.1引言041
3.2加权社会网络分析方法041
3.2.1加权社会网络分析流程042
3.2.2节点关系复杂度计算方法043
3.2.3复合关联矩阵构造方法046
3.3多通道智能交互模式转换规则049
3.4人机智能交互网络建模案例050
3.4.1网络数据采集与处理051
3.4.2网络统计特性分析057
3.4.3网络鲁棒性评估061
第4章飞机驾驶舱触控交互设计与评估方法065
4.1引言065
4.2触控交互信息脑电诱发机制065
4.2.1触控交互界面特征分析065
4.2.2脑电诱发机制实验分析067
4.3触控交互信息认知建模方法079
4.3.1触控交互任务的信息感知策略分析081
4.3.2触控交互任务的操作与认知流程082
4.3.3触控交互信息认知模型083
4.4基于模型的触控交互界面评价086
4.4.1实验与仿真的相关性分析086
4.4.2基于模型的交互绩效预测088
第5章飞机驾驶舱语音交互设计与评估方法090
5.1引言090
5.2飞机驾驶舱语音增强方法090
5.2.1驾驶舱环境噪声091
5.2.2无监督语音增强算法092
5.2.3降噪前后对比093
5.3语音交互情感识别模型096
5.3.1语音情感特征096
5.3.2语音情感识别模型099
5.3.3驾驶舱语音情感数据库103
5.4语音交互工作负荷评估方法104
5.4.1基于语音情感的工作负荷评估方法104
5.4.2语音交互辅助驾驶设计示例111
5.4.3语音交互工作负荷评估案例113
第6章飞机驾驶舱体感交互设计与评估方法117
6.1引言117
6.2行为识别图像预处理方法117
6.2.1复杂光照环境图像处理方法117
6.2.2图像坐标系投影映射机制122
6.3体感交互行为估计方法127
6.3.1飞行员肢体检测关键点检测数据集127
6.3.2飞行员肢体姿态估计方法130
6.3.3飞行员手部关键点检测方法138
6.4体感交互动作识别与验证方法141
6.4.1图网络结构概述142
6.4.2图时空网络模型142
6.4.3模型验证146
第7章飞机驾驶舱眼动交互设计与评估方法148
7.1引言148
7.2眼动交互基本原理与机制148
7.3眼动交互系统功能设计方法151
7.3.1眼动交互系统框架151
7.3.2眼动行为模型152
7.3.3眼动交互算法152
7.4眼动交互风险辨识与评估方法154
7.4.1眼动交互风险识别方法154
7.4.2眼动交互风险形成机理157
下篇混合式人机智能交互技术
第8章飞机驾驶舱人机交互异常行为监测方法171
8.1引言171
8.2飞行员异常操纵行为分类171
8.2.1改进的HTAHET方法171
8.2.2基于HTAHET方法的操纵行为分类172
8.2.3实例分析175
8.3人机交互行为实时监控机制177
8.3.1基于模糊集和时间线的飞行阶段识别方法177
8.3.2基于改进专家系统的飞行操作预测和异常对象监测方法178
8.4人机交互异常行为评估与验证187
8.4.1飞行阶段识别验证188
8.4.2飞行操作预测验证189
8.4.3异常对象监测验证191
第9章飞机驾驶舱人机交互意图识别方法193
9.1引言193
9.2人机交互意图表征方法193
9.3人机交互显式意图识别方法197
9.3.1基于动作数据的显式意图识别方法197
9.3.2基于生理数据的显式意图识别方法207
9.4人机交互隐式意图推理方法212
9.4.1显式和隐式操控意图关系212
9.4.2基于GASVM优化的HMM模型214
第10章飞机驾驶舱人机界面重构与负荷均衡方法224
10.1引言224
10.2基于视觉注意力的人机界面自适应布局方法224
10.2.1视觉注意力自适应分配模型224
10.2.2PFD界面自适应布局案例分析228
10.3基于优先级调度的人机界面智能重构方法230
10.3.1基于PSA的界面智能重构230
10.3.2人机界面智能重构案例分析232
10.4基于模糊控制的工作负荷均衡方法239
10.4.1工作负荷均衡模型239
10.4.2交互方式协调方法241
第11章飞机驾驶舱人机演化博弈与智能协作机制246
11.1引言246
11.2人机系统演化博弈建模方法246
11.2.1博弈模型参数的定义247
11.2.2博弈模型动力学演化机制249
11.2.3博弈模型稳定性机制250
11.3人机博弈与智能协作系统动力学模型252
11.3.1飞行员行为状态模块253
11.3.2人机系统决策性能模块256
11.3.3人机演化博弈模块259
11.4基于智能交互场景的实验验证261
11.4.1实验任务场景设计262
11.4.2人机博弈功能设计263
11.4.3实验样本选择268
11.4.4实验结果分析268
参考文献277