[发明专利]一种基于深度学习的飞行员行为监控方法

说明书

本发明公开了一种基于深度学习的飞行员行为监控方法，包括：获取包含驾驶员在内的驾驶室图像；将所述驾驶室图像输入到训练好的卷积神经网络模型中，得到驾驶员行为的检测结果；所述监控模型包括输入层、残差模块以及预测部分，其中：所述输入层用于对驾驶室图像进行预处理，得到第一特征图；所述残差模块用于对所述第一特征图依次进行升维、特征图分组、通道压缩并相加操作，输出第二特征图；所述预测部分用于对所述第二特征图依次进行映射及特征抽取、特征池化、特征分类，最终输出检测结果。发明方法提出了新的激活函数和残差模块，使得网络的性能得到有效提升。

技术领域

本发明属于计算机视觉领域，具体涉及一种基于深度学习的飞行员行为监控方法。

背景技术

随着航空工业的快速发展，飞机的生产量和保有量都得到极大增长，越来越多的人选择飞机作为长距离出行的交通工具。虽然飞机是当前安全系数最高的出行方式，但是飞机一旦发生事故，乘客基本无法逃生，同时还会造成大量的经济损失。目前人们已经在提升飞机安全性上付出了巨大努力，但仍存在极大的安全事故隐患。根据已知事实，引起飞机事故的原因主要包括飞行员失误、机械故障、天气问题、人为破坏行为以及其他形式的人为失误。随着飞机性能越来越可以被信赖，由飞行员失误造成的坠机事故比例逐渐上升，现在已经占到大约50％。可见，最大限度地减少飞行员失误可以有效降低飞机失事的可能。而飞行员疲劳驾驶、单手操控等违规行为是造成飞行员失误的重要原因，这些违规行为造成的危害是巨大的，因此，对于能够自动检测飞行员的违规行为的系统有着强烈的需求。

目前，国内外对于飞行员的违规行为的研究非常少，对于汽车驾驶员违规行为的研究要稍微多一些。《计算机科学》2016年第43卷第6期《基于计算机视觉的驾驶员低头行为检测》中对行驶过程中驾驶员的低头行为进行检测，该方法使用主动型状模型(ActiveShapeModel,ASM)算法得到脸部特征点,在此基础上通过脸部特征点的位置信息计算出头部姿势描述信息,最后通过SVM将上述信息分类进而得出头部姿势,其可用于判断驾驶员是否在驾驶过程中低头看手机行为,该方法能够有效检测出驾驶员在驾驶过程中低头使用手机的行为.实验结果表明,该方法的平均检出率在94％以上。

《计算机仿真》2015年32卷11期《交通驾驶员疲劳驾驶行为优化图像识别》对驾驶员疲劳驾驶的行为进行检测，首先采用AdaBoost算法对驾驶员脸部进行检测,详细分析整个检测过程。其次求出驾驶员脸部区域图垂直方向的梯度矩阵,并对梯度矩阵进行水平投影,通过驾驶员脸部的结构特征获取眼睛在图像中的相对位置,依据距离对眼睛开闭进行确定。然后根据PERCLOS(单位时间内眼睛闭合时间所占的百分率)测量原理求出驾驶员眼睛各个状态的参数,最后通过各指标和既定阈值的关系来判断驾驶员是否处于疲劳驾驶状态。

以上两种均是采用传统目标检测算法对驾驶员的违规行为进行检测。传统的目标检测方法首先要进行极其复杂的特征提取工作，而且根据研究对象的不同，要获取不同的特征，鲁棒性不够强。该方法对图像预处理的专业性有极高的要求，而且需要大量的时间成本。但是其检测精度并不高，在实际应用中误测和漏测都较多，而且检测速度也不快，完全达不到实时检测的要求。

近年来，深度学习由于其强大的学习能力在计算机视觉领域取得了巨大的发展。作为计算机视觉的一个重要分支，目标检测算法也从基于手工特征的传统算法转向了基于深度神经网络的检测技术。相比传统方法，基于深度学习的目标检测算法实现了检测精度和检测速率的全面提升。本发明提出将基于深度学习的目标检测算法应用于飞行员行为监控，目的是在保证检测精度的前提下，实时监控飞行员的行为，从而能够及时检测到飞行员的一些不安全行为，以预防由飞行员的不安全行为导致的飞行事故。

发明内容

本发明的目的是提供一种基于深度学习的飞行员行为监控方法，通过实时采集驾驶室图像，经过训练好的模型进行不安全行为检测，并将检测结果及时反馈，以预防由飞行员的不安全行为导致的飞行事故。

为了实现上述任务，本发明采用以下技术方案：

一种基于深度学习的飞行员行为监控方法，包括：