[发明专利]一种基于视频的危险驾驶行为检测方法和检测系统

权利要求书

1.一种基于视频的危险驾驶行为检测方法，所述视频为驾驶员驾驶时的视频；所述方法包括构建阶段、训练阶段和检测阶段，其特征在于，所述构建阶段包括：

S1、采集视频帧，构成待检测视频片段；所述待检测视频片段为长度为T的驾驶员驾驶时的视频图像序列V，V＝[v₁,v₂,…,v_t,…v_T]，其中v_t∈R^w×h×c，表示视频图像序列中的第t帧图像，w、h分别为视频图像的宽和高，c表示图像色彩空间的通道数；

S2、对S1得到的待检测视频片段，计算相邻帧的光流，构成光流图序列F＝[f₁,f₂,…,f_t,…f_T]，其中f_t∈R^w×h×2L，L为光流算法相关的特征通道数；

S3、将视频图像序列V中的每帧图像划分为K×K个子区域，采用空间2D卷积神经网络提取V中每帧图像每个子区域的空间特征F_S(t,k)，组合得到视频图像序列对应的空间特征：F_S＝[F_S(1),F_S(2),…,F_S(t),…,F_S(T)]，其中F_S(t)表示视频图像序列中的第t帧图像的空间特征，F_S(t)＝[F_S(t,1),F_S(t,2),…,F_S(t,k),…,F_S(t,K²)]，L₁为空间特征的长度；k表示视频图像中子区域的序号，k＝1,2,…,K²；每帧空间特征图的宽、高均为K₁；

S4、采用时间2D卷积神经网络提取光流图序列F对应的时间特征F_M：F_M＝[F_M(1),F_M(2),…,F_M(t),…,F_M(T)]，其中F_M(t)表示视频图像序列中的第t帧图像的时间特征图，每帧时间特征图的宽、高均为K₂，L₂为时间特征的长度；

S5、对视频图像序列的每帧图像提取驾驶员轮廓，所述轮廓和轮廓内部区域设定为驾驶员区域D_t；统计第t帧图像中与D_t交集不为空的子区域个数N_t；计算每个子区域的驾驶员区域权重，第t帧图像第k个子区域的驾驶员区域权重D_ω(t,k)为：

S6、建立基于LSTM的空间注意力模型，所述空间注意力模型用于提取每帧图像每个子区域的空间权重所述空间注意力模型中，输入门、遗忘门、输出门的输入均为第t帧图像第k个子区域的特征F_S(t,k)和上一帧LSTM细胞隐藏状态LSTM的输出细胞状态为即：

其中W_α,W_αf,W_αh分别为空间注意力模型中输出门、遗忘门、输入门的权重矩阵，b_α1,b_α2分别为空间注意力模型的输入门和输出门的偏置项；

S7、建立基于LSTM的时间注意力模型，所述时间注意力模型用于提取每帧图像的时间权重所述时间注意力模型中，输入门、遗忘门、输出门的输入均为第t帧图像的时间特征F_M(t)和上一帧LSTM细胞隐藏状态LSTM的输出细胞状态为即：

其中W_β,W_βf,W_βh分别为时间注意力模型中输出门、遗忘门、输入门的权重矩阵，b_β1,b_β2分别为时间注意力模型的输入门和输出门的偏置项；

S8、计算各子区间归一化空间权重

对视频图像序列V中的T帧图像，更新每一帧图像的归一化空间权重，所述更新过程为最小化第一损失函数Loss_D：更新后的归一化空间权重为α_w(t,k)；

计算视频图像序列中每帧图像的显著性空间特征S_t：

S_t＝[α_w(t,1)F_S(t,1),…,α_w(t,k)F_S(t,k),…,α_w(t,K²)F_S(t,K²)]，

[,]表示向量拼接；

S9、计算各帧图像归一化时间权重β_w(t)：

计算视频图像序列中每帧图像的显著性时间特征M_t：

M_t＝β_w(t)F_M(t)，

S10、建立基于三级ConvLSTM级联的深度空间特征提取网络，所述深度空间特征提取网络的输入为显著性空间特征S_t，输出为S_t对应的第一危险驾驶行为概率向量；

所述深度空间特征提取网络包括三级级联的ConvLSTM单元和输出层；其中第一级ConvLSTM单元的输入为显著性空间特征S_t，第二级ConvLSTM单元的输入为第一级ConvLSTM单元的输出第三级ConvLSTM单元的输入为第二级ConvLSTM单元的输出三级ConvLSTM单元的输出拼接为深度空间特征

所述输出层采用Softmax函数根据获取第t帧图像的第一危险驾驶行为概率向量P_t^S：其中是第t帧图像为第n类危险驾驶行为的概率，其中T表示矩阵的转置，ω_n为输出层参数，n＝1,2,…,N；

S11、建立基于三级ConvLSTM级联的深度时间特征提取网络，所述深度时间特征提取网络的输入为显著性时间特征M_t，输出为M_t对应的第二危险驾驶行为概率向量；

所述深度时间特征提取网络包括三级级联的ConvLSTM单元和输出层；其中第一级ConvLSTM单元的输入为显著性时间特征M_t，第二级ConvLSTM单元的输入为第一级ConvLSTM单元的输出第三级ConvLSTM单元的输入为第二级ConvLSTM单元的输出三级ConvLSTM单元的输出拼接为深度时间特征

所述输出层采用Softmax函数根据获取第t帧图像的第二危险驾驶行为概率向量P_t^M：其中是第t帧图像为第n类危险驾驶行为的概率，其中T表示矩阵的转置，υ_n为输出层参数，n＝1，2，…，N；

所述训练阶段包括：

S12、构建数据集，并将其分为训练集和验证集；使用训练集和验证集训练空间注意力模型、时间注意力模型、深度空间特征提取网络和深度时间特征提取网络的参数；

所述检测阶段包括：

S13、采集驾驶员驾驶视频；连续读取T₁帧图像构成预待测视频图像序列判断预待测视频图像序列中是否存在运动目标，若存在运动目标则继续读取T₂帧视频图像与构成长度为T的待测视频图像序列V_d，并根据步骤S2的方法计算V_d对应的光流图序列F_d；如果中不存在运动目标，清空数据，重新读取T₁帧视频图像；T₁+T₂＝T；

根据步骤S3的方法获取V_d中每帧图像每个子区域的空间特征F_ds(t，k)；

根据步骤s4的方法获取V_d中每帧图像的时间特征F_dM(t)；

根据步骤S5的方法计算V_d中每帧图像每个子区域的驾驶员区域权重D_dω(t，k)；

采用训练好的空间注意力模型计算V_d中每帧图像每个子区域的空间权重

采用训练好的时间注意力模型计算V_d中每帧图像的时间权重

根据步骤S8的方法计算V_d中每帧图像的显著性空间特征S_dt；

根据步骤S9的方法计算V_d中每帧图像的显著性时间特征M_dt；

将S_dt输入训练好的深度空间特征提取网络中，获取S_dt对应的第一危险驾驶行为概率向量

将M_dt输入训练好的深度时间特征提取网络中，获取M_dt对应的第二危险驾驶行为概率向量

计算融合空间时间的危险驾驶行为概率向量其中为：分别为和中的第n个元素；

根据获取危险驾驶行为类别检测结果。