[发明专利]基于深度混合编解码神经网络的驾驶员行为识别方法

说明书

本发明提供了一种基于深度混合编解码神经网络的驾驶员行为识别方法，包括：建立驾驶员行为识别数据集；构建编解码时空卷积网络；构建卷积长短期记忆网络；构建分类网络；训练驾驶员行为识别模型中三个网络；采用训练好的驾驶员行为识别模型对数据集中的视频进行识别，将视频样本送入训练好的编解码时空卷积网路中得到短期行为时空特征表示，将短期行为时空特征表示送入训练好的卷积长短期记忆网络中得到长期行为时空特征表示，训练好的分类网络输出最终的驾驶员行为分类结果。本发明能够有效地从短期视频剪辑中提取隐含的运动信息，并通过时空融合实现长视频中的驾驶员行为特征编码，识别精度高，可实现监控视频中的驾驶员行为识别。

技术领域

本发明属于图像处理和模式识别领域，涉及基于深度混合编解码神经网络的驾驶员行为识别方法。

背景技术

驾驶员行为识别旨在区分正常驾驶行为和一些危险驾驶行为，如手脱离方向盘驾驶，打电话驾驶，驾驶抽烟等行为。危险驾驶行为严重的影响了驾驶员的注意力，一直以来都是造成交通事故的主要因素。中国交通运输部的调查显示2018年中国有超过63000人死于交通事故，这其中80％以上的事故都与驾驶员的危险驾驶行为有关。因此驾驶员行为监控技术对于道路安全和智能交通有重要的研究意义。

基于计算机视觉的自动驾驶员行为识别方法已成为研究热点。这类方法依赖于使用车载摄像头对驾驶员的驾驶行为进行实时采集并通过运动特征提取自动分析出驾驶员的危险驾驶行为。然而目前这类算法的识别准确率不高，其主要存在以下难点：

(1)驾驶员行为的动作趋势相对较慢，且不同的行为类别全局信息的相似程度高，因此运动信息并不显著。人工设计的运动特征很难对于该问题进行表征。

(2)密集光流场可用于对驾驶员行为进行建模，然而光流预计算是很耗时的，因此该方法的实时性较低。

(3)驾驶员行为同样依赖于长期时空表征。短期时空特征难以判定当前的驾驶行为表征，易导致高误报率。

发明内容

为解决上述问题，本发明提供了基于深度混合编解码神经网络的驾驶员行为识别方法，设计了由编解码时空卷积网络，卷积长短时记忆网络和分类网络这三个子网络组成的网络模型。其中编解码时空卷积网络实现短期行为时空特征提取，卷积长短时记忆网络用于长期时空特征融合，分类网络输出最终的视频驾驶员行为识别结果。

为了达到上述目的，本发明提供如下技术方案：

基于深度混合编解码神经网络的驾驶员行为识别方法，包括如下步骤：

步骤1：建立驾驶员行为识别数据集

驾驶员行为识别数据集包含录制的驾驶员驾驶视频，驾驶视频包含若干种不同的驾驶行为类别，驾驶视频划分为训练集和测试集；

步骤2：构建编解码时空卷积网络

编解码时空卷积网络包括3D编码部分和3D解码部分，3D编码网络和3D解码网络采用跳跃连接方式连接；

所述3D编码网络由多个3D卷积层堆叠组成，每个3D卷积层都使用3×3×3尺寸的卷积核对输入进行下采样，学习短期行为时空特征表示，编码运算过程Encoder(·|)具体表示为：

F_k＝Encoder(I_k|θ_en) (1)

其中I_k表示输入的第k个剪辑，θ_en表示3D编码网络的相关参数，F_k表示编码后的第k个短期行为时空特征表示；

所述3D解码网络由多个3D反卷积层堆叠组成，通过3×3×3的卷积核对编码的行为特征进行上采样，并最终输出光流预测值解码运算过程Decoder(·|)具体表示为：