[发明专利]危险驾驶行为的识别方法、装置、电子设备及存储介质

权利要求书

1.一种危险驾驶行为的识别方法，其特征在于，包括：

获取在驾驶室内用户的视频数据和音频数据；

对所述视频数据和所述音频数据进行特征提取，得到多个单模态特征，所述单模态特征包括微表情特征、动作特征和声音特征；

对多个所述单模态特征进行特征融合，得到融合特征；

对所述融合特征进行二分类，得到所述用户的驾驶行为结果；

若所述驾驶行为结果属于危险驾驶行为，则向所述用户发出警告信息；

所述对所述视频数据和所述音频数据进行特征提取，得到多个单模态特征，包括：

利用预设的第一多层感知机，对所述视频数据中的视频图像进行特征提取，得到所述微表情特征；

所述利用预设的第一多层感知机，对所述视频数据中的视频图像进行特征提取，得到所述微表情特征，包括：

提取所述视频数据的每帧视频图像中用户的脸部特征；

利用所述第一多层感知机，将所述脸部特征与预设的微表情特征进行对比，确定所述脸部特征对应的微表情特征，所述预设的微表情特征以向量编码方式预先存储于特征向量数据库。

2.如权利要求1所述的危险驾驶行为的识别方法，其特征在于，所述对所述视频数据和所述音频数据进行特征提取，得到多个单模态特征，还包括：

利用预设的3D卷积神经网络，对所述视频数据进行特征提取，得到所述动作特征；

利用预设的openSMILE工具，对所述音频数据进行特征提取，得到所述声音特征。

3.如权利要求2所述的危险驾驶行为的识别方法，其特征在于，所述利用预设的3D卷积神经网络，对所述视频数据进行特征提取，得到所述动作特征，包括：

将所述视频数据的通道数、帧数、每帧视频图像的高度和宽度输入到所述3D卷积神经网络；

利用所述3D卷积神经网络中的3D滤波器，对所述视频数据进行卷积操作，得到卷积结果数据；

对所述卷积结果数据进行池化操作和全连接操作，得到所述动作特征。

4.如权利要求2所述的危险驾驶行为的识别方法，其特征在于，所述利用预设的openSMILE工具，对所述音频数据进行特征提取，得到所述声音特征，包括：

去除所述音频数据的背景噪声，并将去除背景噪声后的音频数据进行标准化，得到目标音频数据；

利用所述openSMILE工具，对所述目标音频数据进行特征提取，得到高维音频特征；

将所述高维音频特征输入到预设的第二多层感知机，输出所述声音特征。

5.如权利要求1所述的危险驾驶行为的识别方法，其特征在于，所述对多个所述单模态特征进行特征融合，得到融合特征，包括：

根据Concatenation融合方式，对所述微表情特征、动作特征和声音特征进行特征拼接，得到所述融合特征。

6.如权利要求1所述的危险驾驶行为的识别方法，其特征在于，所述若所述驾驶行为结果属于危险驾驶行为，则向所述用户发出警告信息之后，还包括：

将所述视频数据与音频数据进行时间帧对齐和组合，得到录像数据；

将所述录像数据和所述驾驶行为结果发送至预设的监管设备。