[发明专利]一种基于深度学习的飞行员行为监控方法

权利要求书

1.一种基于深度学习的飞行员行为监控方法，其特征在于，包括：

获取包含驾驶员在内的驾驶室图像；

将所述驾驶室图像输入到训练好的卷积神经网络模型中，得到驾驶员行为的检测结果；所述卷积神经网络模型包括输入层、残差模块以及预测部分，其中：

所述输入层用于对驾驶室图像进行预处理，得到第一特征图；所述残差模块用于对所述第一特征图依次进行升维、特征图分组、通道压缩并相加操作，输出第二特征图；所述预测部分用于对所述第二特征图依次进行映射及特征抽取、特征池化、特征分类，最终输出检测结果；

所述残差模块串行设置多个，前一个残差模块的处理结果作为下一个残差模块的输入；

每一个残差模块均包括依次连接的第一1*1卷积层、分通道卷积层、第二1*1卷积层、相加层，其中：

所述第一1*1卷积层对输入该残差模块的特征图进行升维，并在升维后进行激活处理；所述分通道卷积层用于对进行激活处理后的特征图分类，将特征图分为多组，并对每一组作卷积处理；所述第二1*1卷积层对经分通道卷积层处理后的特征进行卷积处理，压缩通道，使其与输入有相同的通道数，最后通过所述相加层将第二1*1卷积层输出的特征图与输入到该残差模块的特征图进行连接，得到经该残差模块处理后的特征图；

所述输入层包括16个通道的3*3卷积层，每个卷积层后均设置有第一激活函数；

所述残差模块串行设置15个，其中前7个残差模块中的第一1*1卷积层、第二1*1卷积层之后分别设置第一激活函数；后8个残差模块中的第一1*1卷积层、第二1*1卷积层之后分别设置第二激活函数；

所述预测部分包括依次连接的池化层、第三1*1卷积层、第四1*1卷积层，其中：

所述池化层用于将输入预测部分的特征图进行池化处理，第三1*1卷积层用于将池化处理后特征图进行升维，并进行特征抽取；第四1*1卷积层用于对的特征进行分类，输出检测结果；

所述第三1*1卷积层、第四1*1卷积层之后均设置有第二激活函数。

2.根据权利要求1所述的基于深度学习的飞行员行为监控方法，其特征在于，所述第一激活函数为RELU激活函数，第二激活函数表示为：

其中，x表示激活函数的输入。

3.根据权利要求1所述的基于深度学习的飞行员行为监控方法，其特征在于，所述卷积神经网络模型在进行训练时，首先模拟驾驶舱内环境并进行拍摄，以采集各种飞行员违规行为的图像；对于数量较少的类别，采用图像增强的方式进行数据样本扩充，在每一类图像中，选取训练集、验证集和测试集；

对采集的所有图像添加标签，人工框出飞行员违规的行为并进行标记；

训练过程中，采用均方差作为损失函数，并选用Adam优化方法作为梯度下降方式；采用单个模型统一处理的方法，把多个特性的检测作为一个多分类任务。