[发明专利]基于深度混合编解码神经网络的驾驶员行为识别方法

权利要求书

1.基于深度混合编解码神经网络的驾驶员行为识别方法，其特征在于，包括如下步骤：

步骤1：建立驾驶员行为识别数据集

驾驶员行为识别数据集包含录制的驾驶员驾驶视频，驾驶视频包含若干种不同的驾驶行为类别，驾驶视频划分为训练集和测试集；

步骤2：构建编解码时空卷积网络

编解码时空卷积网络包括3D编码部分和3D解码部分，3D编码网络和3D解码网络采用跳跃连接方式连接；

所述3D编码网络由多个3D卷积层堆叠组成，每个3D卷积层都使用3×3×3尺寸的卷积核对输入进行下采样，学习短期行为时空特征表示，编码运算过程Encoder(·|)具体表示为：

F_k＝Encoder(I_k|θ_en) (1)

其中I_k表示输入的第k个剪辑，θ_en表示3D编码网络的相关参数，F_k表示编码后的第k个短期行为时空特征表示；

所述3D解码网络由多个3D反卷积层堆叠组成，通过3×3×3的卷积核对编码的行为特征进行上采样，并最终输出光流预测值解码运算过程Decoder(·|)具体表示为：

其中表示第k个光流预测值，θ_en表示3D编码网络的相关参数，θ_de表示3D解码网络的相关参数；

编解码时空卷积网络能够实现短期剪辑的驾驶员行为分类；3D卷积层3DConv(·|)对编码时空特征F_k继续进行下采样，全局平均池化层GAP(·|)对特征进行均值池化，而softmax层softmax(·|)输出行为分类结果，该过程具体表示为：

X_k＝3DConv(F_k|θ_3dc) (3)

其中X_k表示3D卷积层的输出特征图，表示特征图的全局平均池化结果，θ_3dc和θ_st表示3D卷积层和softmax层的相关参数，表示分类得分；

编解码时空卷积网络的损失函数包含3部分：

(1)编解码时空卷积网络对短期视频剪辑中的驾驶员行为进行分类，交叉损失熵函数优化softmax分类器，具体表示为：

其中1(·)表示指示函数，如果括号内的表达式为真则取值1，反之取值0；y_j和分别表示真实类别标签和预测类别标签；

(2)编解码时空卷积网络采用回归逼近输入O和输出之间的距离，具体表示为：

其中O和分别表示光流真实值和光流预测值，二范数距离用于对光流损失进行优化；

(3)编解码时空卷积网络采用回归对运动信息的损失进行优化，能够将真实光流和预测光流送入双流网络的时间流网络，并计算激活值的偏差，具体表示为：

其中φ(·)表示双流网络中时间流网络的输出特征图，二范数距离用于对运动信息损失进行优化；

编解码时空卷积网络的最终损失为不同学习任务的损失加权组合，最终的损失函数表示为：

L＝λ_clsL_cls+λ_flowL_flow+λ_motionL_motion (9)

其中λ_cls，λ_flow和λ_motion分别表示编解码时空卷积网络中不同损失的权重参数；

步骤3：构建卷积长短期记忆网络

卷积长短期记忆网络用于对长视频中的多个短期行为特征进行时空融合，获取长期驾驶员行为特征表示；卷积长短期记忆网络将卷积操作引入长短期记忆单元LSTM中，LSTM单元包括一个记忆胞元和三个控制门，三个控制门为：输入门，遗忘门和输出门；输入门i_k能够调制LSTM单元的输入z_k，记忆单元c_k记录了当前的记忆状态，输出H_k由遗忘门f_k和输出门o_k共同决定；卷积长短期记忆网络运算过程具体表示为：

i_k＝σ(W_i*F_k+R_i*H_k-1+b_i) (10)

f_k＝σ(W_f*F_k+R_f*H_k-1+b_f) (11)

o_k＝σ(W_o*F_k+R_o*H_k-1+b_o) (12)

z_k＝tanh(W_z*F_k+R_z*H_k-1+b_z) (13)

其中W表示当前状态输入的权重矩阵，R表示上一个状态输出的权重矩阵，b表示阈值项，σ为sigmoid函数，tanh为双正切函数，表示元素内积，*表示卷积操作；

步骤4：构建分类网络

分类网络首先对长期驾驶员行为特征表示H进行时间池化TPooling(·|)和空间金字塔池化SPPPooling(·)，接着通过全连接层FC(·)和softmax分类器softmax(·)实现长视频的驾驶员行为识别，其运算过程具体表示为：

f＝FC(SPPPooling(TPooling(H|θ_fc))) (16)

P_lt＝softmax(f|θ_lt) (17)

其中θ_fc和θ_lt分别表示全连接层和softmax层的相关参数，P_lt表示分类得分；

步骤5：训练驾驶员行为识别模型

步骤501：训练编解码时空卷积神经网络，提取驾驶员行为的短期时空特征；

步骤502：将短期时空特征作为输入训练卷积长短期记忆网络和分类网络，识别长视频的驾驶员行为；

步骤6：采用训练好的驾驶员行为识别模型对数据集中的视频进行识别

对于一段视频，首先等时间间隔的采样K个短期剪辑，每个剪辑包含L帧，则采样后得到的剪辑样本为I＝{I₁,I₂,...,I_K}，将该样本送入训练好的编解码时空卷积网路中得到短期行为时空特征表示F＝{F₁,F₂...,F_K}，将短期行为时空特征表示送入训练好的卷积长短期记忆网络中得到长期行为时空特征表示H，训练好的分类网络输出最终的驾驶员行为分类结果。