内容简介
《飞机驾驶舱人机智能交互建模理论与设计方法》面向飞机驾驶舱人机交互智能化的发展趋势，遵循互补式人机智能交互技术向混合式人机智能交互技术的演进路线，从人机智能交互信息语义建模方法、人机智能交互网络建模方法、多模态人机智能交互设计方法（触控交互、语音交互、体感交互、眼动交互）、人机交互异常行为监测方法、人机交互意图识别方法、人机界面重构与负荷均衡方法、人机演化博弈与智能协作机制等方面，深入论述飞机驾驶舱人机智能交互的基本原理、建模理论、关键技术与设计方法，探讨多通道人机智能交互信息如何组织、多模态人机智能交互生态如何设计、人机系统决策冲突如何消解等问题，创建面向智能交互的飞机驾驶舱人机交互理论、模型与方法体系，为飞机驾驶舱人机智能交互设计、评估、适航验证与审定提供科学依据、理论支撑和解决途径。
精彩书摘
第1章绪论
1.1引言
飞机驾驶舱是飞行员执行任务的主要场所，舱内集成了供飞行任务所需的所有人机交互设备。在人机交互过程中，飞行员与机载系统之间形成的互相依赖、互相约束关系很大程度上影响着任务绩效［12］，飞机驾驶舱人机交互设计水平的高低是飞行员能否安全、高效完成飞行任务的基础和关键。从技术水平上看，军机驾驶舱人机系统的发展整体上领先于民机驾驶舱人机系统，军机驾驶舱人机系统的设计更关注于提高飞行员工作效率和发挥飞机性能水平，而民机驾驶舱人机系统的设计以安全性为核心目标，任何新颖的技术必须在成熟发展并充分满足适航要求之后才能体现在民机驾驶舱人机系统的设计中。因此，先进显示控制技术往往优先在军机驾驶舱人机系统中得到应用。
迄今为止，军机驾驶舱的发展大致可划分为六个阶段。**次世界大战期间，典型战斗机驾驶舱布局与当时的汽车、火车驾驶舱室布局类似，控制面板上只装备了简单的刻度盘和指示器，方向舵脚蹬、中央驾驶杆和左手油门杆为主要的飞行控制设备。到了第二次世界大战时期，战斗机普遍采用了封闭式增压驾驶舱设计，飞行仪表可指示飞机飞行状态、发动机温度和压力等重要信息，飞行员也可通过多种辅助控制设备来操纵飞机［3］。20世纪60年代，战斗机驾驶舱仪表板上装备了飞行姿态、马赫数、发动机、无线电通信、无线电信标导航、告警、雷达等显示装置，此外还出现了显示雷达波探测物体的阴极射线管（cathode ray tube， CRT）显示器。20世纪70年代，典型战斗机驾驶舱前仪表板上安装了CRT显示器、平视显示器及大量的机电指示仪，通过操纵台和仪表控制板上的按钮，飞行员可控制新引入的导航、通信和武器瞄准计算机系统［4］。20世纪80年代后期，随着计算机技术的快速发展，机载系统全面采用了数字化电子控制技术，推动了玻璃化驾驶舱的出现［5］，*有代表性的特征为三块多功能显示器布局，综合、有序、简洁的显控方式为飞行员提供了大量战术、地图、机电系统的状态信息，飞行员得以通过按键、开关、旋钮等实体与机载系统进行交互。21世纪以来，以F35为代表的新一代战斗机的驾驶舱充分采用了*新技术成果，“简约”成为驾驶舱设计的*大亮点，大屏幕多功能显示器取代了多显示器，飞行员可以直接通过触控的方式调整信息显示方式和布局；此外，语音控制系统取代了大量的键盘输入工作，头盔综合显示器完全替代了平视显示器，飞行员得以将注意力放在战术运用而非烦琐的交互操作上。
民机驾驶舱和军机驾驶舱在早期的发展上区别有限。**次世界大战前后的民机驾驶舱内也集成了简单的机械式仪表，包括气压高度表、空速表、磁罗盘、发动机转速表等，飞行员通过机械式操纵装置进行飞机控制。在第二次世界大战前后逐步发展起来的无线电导航、仪表着陆系统、飞行指引仪表系统等技术实现了飞行员与飞机之间的多层面信息交互，驾驶舱仪表面板逐步向集成化、综合化发展。与军机驾驶舱一致，20世纪70～80年代，电子信息技术的进步推动了民机玻璃驾驶舱的发展，多电子显示单元、系统仪表在驾驶舱显控面板上集成，电子姿态指引仪（electronic attitude director indicator， EADI）和电子水平状态指示器（electronic horizontal situation indicator， EHSI）出现并组成综合电子飞行仪表系统（electronic flight instrument system， EFIS）；与此同时，按键、开关、旋钮等机械控制方式也未被完全摒弃［6］。到了以B787、A380为代表的民机驾驶舱，电子显示屏进一步向大屏化发展，并通过增强显示的方式提高了信息显示的维度与综合度，同时飞行员得以通过光标与飞机进行计算机式的人机交互，平视显示器的应用也使飞行员可同时观察窗外情况和飞行信息，驾驶舱的整体设计充分体现了新技术与飞行员需求的融合［78］。美国国家航空航天局（National Aeronautics and Space Administration， NASA）在智能驾驶舱集成技术（integrated intelligent flight deck technologies， IIFDT）和自然驾驶舱（naturalistic flight deck， NFD）系统项目中，提出将先进人机交互与显示控制技术作为下一代驾驶舱的重点研发方向［910］。融合触控、语音、眼动、体感等多通道智能交互方式，已成为民机驾驶舱人机系统发展的必然趋势。
另一方面，航空运输业的快速发展，对民机安全性、经济性、舒适性等提出了更高要求，通过结构优化、系统集成、冗余设计、新技术应用等手段，飞机综合性能持续提升，驾驶舱设计的新颖性、复杂性和集成性也越来越高。民机驾驶舱人机交互呈现出信息容量大、交互节点多、交互模式单一、交互过程复杂、即时性要求高等特点，极易引发飞行员认知负荷失衡、情景意识丧失、人为差错频发等问题，由驾驶舱人机交互所导致的飞行事故和事故征候不断增加。综合国际航空运输协会（International Air Transport Association， IATA）、国际民航组织（International Civil Aviation Organization， ICAO）、波音公司、空客公司
目录
目录
第1章绪论001
1.1引言001
1.2国内外技术发展现状005
1.2.1多模态交互理论与方法005
1.2.2人机智能协作关键技术008
上篇互补式人机智能交互技术
第2章基于本体的人机智能交互信息语义建模方法013
2.1引言013
2.2人机智能交互场景要素定义013
2.3飞行员认知行为本体建模017
2.4系统功能行为本体建模021
2.5人机交互行为本体建模029
2.6人机交互情境本体建模036
第3章基于信息流的人机智能交互网络建模方法041
3.1引言041
3.2加权社会网络分析方法041
3.2.1加权社会网络分析流程042
3.2.2节点关系复杂度计算方法043
3.2.3复合关联矩阵构造方法046
3.3多通道智能交互模式转换规则049
3.4人机智能交互网络建模案例050
3.4.1网络数据采集与处理051
3.4.2网络统计特性分析057
3.4.3网络鲁棒性评估061
第4章飞机驾驶舱触控交互设计与评估方法065
4.1引言065
4.2触控交互信息脑电诱发机制065
4.2.1触控交互界面特征分析065
4.2.2脑电诱发机制实验分析067
4.3触控交互信息认知建模方法079
4.3.1触控交互任务的信息感知策略分析081
4.3.2触控交互任务的操作与认知流程082
4.3.3触控交互信息认知模型083
4.4基于模型的触控交互界面评价086
4.4.1实验与仿真的相关性分析086
4.4.2基于模型的交互绩效预测088
第5章飞机驾驶舱语音交互设计与评估方法090
5.1引言090
5.2飞机驾驶舱语音增强方法090
5.2.1驾驶舱环境噪声091
5.2.2无监督语音增强算法092
5.2.3降噪前后对比093
5.3语音交互情感识别模型096
5.3.1语音情感特征096
5.3.2语音情感识别模型099
5.3.3驾驶舱语音情感数据库103
5.4语音交互工作负荷评估方法104
5.4.1基于语音情感的工作负荷评估方法104
5.4.2语音交互辅助驾驶设计示例111
5.4.3语音交互工作负荷评估案例113
第6章飞机驾驶舱体感交互设计与评估方法117
6.1引言117
6.2行为识别图像预处理方法117
6.2.1复杂光照环境图像处理方法117
6.2.2图像坐标系投影映射机制122
6.3体感交互行为估计方法127
6.3.1飞行员肢体检测关键点检测数据集127
6.3.2飞行员肢体姿态估计方法130
6.3.3飞行员手部关键点检测方法138
6.4体感交互动作识别与验证方法141
6.4.1图网络结构概述142
6.4.2图时空网络模型142
6.4.3模型验证146
第7章飞机驾驶舱眼动交互设计与评估方法148
7.1引言148
7.2眼动交互基本原理与机制148
7.3眼动交互系统功能设计方法151
7.3.1眼动交互系统框架151
7.3.2眼动行为模型152
7.3.3眼动交互算法152
7.4眼动交互风险辨识与评估方法154
7.4.1眼动交互风险识别方法154
7.4.2眼动交互风险形成机理157
下篇混合式人机智能交互技术
第8章飞机驾驶舱人机交互异常行为监测方法171
8.1引言171
8.2飞行员异常操纵行为分类171
8.2.1改进的HTAHET方法171
8.2.2基于HTAHET方法的操纵行为分类172
8.2.3实例分析175
8.3人机交互行为实时监控机制177
8.3.1基于模糊集和时间线的飞行阶段识别方法177
8.3.2基于改进专家系统的飞行操作预测和异常对象监测方法178
8.4人机交互异常行为评估与验证187
8.4.1飞行阶段识别验证188
8.4.2飞行操作预测验证189
8.4.3异常对象监测验证191
第9章飞机驾驶舱人机交互意图识别方法193
9.1引言193
9.2人机交互意图表征方法193
9.3人机交互显式意图识别方法197
9.3.1基于动作数据的显式意图识别方法197
9.3.2基于生理数据的显式意图识别方法207
9.4人机交互隐式意图推理方法212
9.4.1显式和隐式操控意图关系212
9.4.2基于GASVM优化的HMM模型214
第10章飞机驾驶舱人机界面重构与负荷均衡方法224
10.1引言224
10.2基于视觉注意力的人机界面自适应布局方法224
10.2.1视觉注意力自适应分配模型224
10.2.2PFD界面自适应布局案例分析228
10.3基于优先级调度的人机界面智能重构方法230
10.3.1基于PSA的界面智能重构230
10.3.2人机界面智能重构案例分析232
10.4基于模糊控制的工作负荷均衡方法239
10.4.1工作负荷均衡模型239
10.4.2交互方式协调方法241
第11章飞机驾驶舱人机演化博弈与智能协作机制246
11.1引言246
11.2人机系统演化博弈建模方法246
试读
第1章绪论
1.1引言
飞机驾驶舱是飞行员执行任务的主要场所，舱内集成了供飞行任务所需的所有人机交互设备。在人机交互过程中，飞行员与机载系统之间形成的互相依赖、互相约束关系很大程度上影响着任务绩效［12］，飞机驾驶舱人机交互设计水平的高低是飞行员能否安全、高效完成飞行任务的基础和关键。从技术水平上看，军机驾驶舱人机系统的发展整体上领先于民机驾驶舱人机系统，军机驾驶舱人机系统的设计更关注于提高飞行员工作效率和发挥飞机性能水平，而民机驾驶舱人机系统的设计以安全性为核心目标，任何新颖的技术必须在成熟发展并充分满足适航要求之后才能体现在民机驾驶舱人机系统的设计中。因此，先进显示控制技术往往优先在军机驾驶舱人机系统中得到应用。
迄今为止，军机驾驶舱的发展大致可划分为六个阶段。**次世界大战期间，典型战斗机驾驶舱布局与当时的汽车、火车驾驶舱室布局类似，控制面板上只装备了简单的刻度盘和指示器，方向舵脚蹬、中央驾驶杆和左手油门杆为主要的飞行控制设备。到了第二次世界大战时期，战斗机普遍采用了封闭式增压驾驶舱设计，飞行仪表可指示飞机飞行状态、发动机温度和压力等重要信息，飞行员也可通过多种辅助控制设备来操纵飞机［3］。20世纪60年代，战斗机驾驶舱仪表板上装备了飞行姿态、马赫数、发动机、无线电通信、无线电信标导航、告警、雷达等显示装置，此外还出现了显示雷达波探测物体的阴极射线管（cathode ray tube， CRT）显示器。20世纪70年代，典型战斗机驾驶舱前仪表板上安装了CRT显示器、平视显示器及大量的机电指示仪，通过操纵台和仪表控制板上的按钮，飞行员可控制新引入的导航、通信和武器瞄准计算机系统［4］。20世纪80年代后期，随着计算机技术的快速发展，机载系统全面采用了数字化电子控制技术，推动了玻璃化驾驶舱的出现［5］，*有代表性的特征为三块多功能显示器布局，综合、有序、简洁的显控方式为飞行员提供了大量战术、地图、机电系统的状态信息，飞行员得以通过按键、开关、旋钮等实体与机载系统进行交互。21世纪以来，以F35为代表的新一代战斗机的驾驶舱充分采用了*新技术成果，“简约”成为驾驶舱设计的*大亮点，大屏幕多功能显示器取代了多显示器，飞行员可以直接通过触控的方式调整信息显示方式和布局；此外，语音控制系统取代了大量的键盘输入工作，头盔综合显示器完全替代了平视显示器，飞行员得以将注意力放在战术运用而非烦琐的交互操作上。
民机驾驶舱和军机驾驶舱在早期的发展上区别有限。**次世界大战前后的民机驾驶舱内也集成了简单的机械式仪表，包括气压高度表、空速表、磁罗盘、发动机转速表等，飞行员通过机械式操纵装置进行飞机控制。在第二次世界大战前后逐步发展起来的无线电导航、仪表着陆系统、飞行指引仪表系统等技术实现了飞行员与飞机之间的多层面信息交互，驾驶舱仪表面板逐步向集成化、综合化发展。与军机驾驶舱一致，20世纪70～80年代，电子信息技术的进步推动了民机玻璃驾驶舱的发展，多电子显示单元、系统仪表在驾驶舱显控面板上集成，电子姿态指引仪（electronic attitude director indicator， EADI）和电子水平状态指示器（electronic horizontal situation indicator， EHSI）出现并组成综合电子飞行仪表系统（electronic flight instrument system， EFIS）；与此同时，按键、开关、旋钮等机械控制方式也未被完全摒弃［6］。到了以B787、A380为代表的民机驾驶舱，电子显示屏进一步向大屏化发展，并通过增强显示的方式提高了信息显示的维度与综合度，同时飞行员得以通过光标与飞机进行计算机式的人机交互，平视显示器的应用也使飞行员可同时观察窗外情况和飞行信息，驾驶舱的整体设计充分体现了新技术与飞行员需求的融合［78］。美国国家航空航天局（National Aeronautics and Space Administration， NASA）在智能驾驶舱集成技术（integrated intelligent flight deck technologies， IIFDT）和自然驾驶舱（naturalistic flight deck， NFD）系统项目中，提出将先进人机交互与显示控制技术作为下一代驾驶舱的重点研发方向［910］。融合触控、语音、眼动、体感等多通道智能交互方式，已成为民机驾驶舱人机系统发展的必然趋势。
另一方面，航空运输业的快速发展，对民机安全性、经济性、舒适性等提出了更高要求，通过结构优化、系统集成、冗余设计、新技术应用等手段，飞机综合性能持续提升，驾驶舱设计的新颖性、复杂性和集成性也越来越高。民机驾驶舱人机交互呈现出信息容量大、交互节点多、交互模式单一、交互过程复杂、即时性要求高等特点，极易引发飞行员认知负荷失衡、情景意识丧失、人为差错频发等问题，由驾驶舱人机交互所导致的飞行事故和事故征候不断增加。综合国际航空运输协会（International Air Transport Association， IATA）、国际民航组织（International Civil Aviation Organization， ICAO）、波音公司、空客公司
