[发明专利]危险驾驶行为的识别方法、装置、电子设备及存储介质

说明书

本申请公开了一种危险驾驶行为的识别方法、装置、电子设备及存储介质，通过获取在驾驶室内用户的视频数据和音频数据，以实时监控用户；对视频数据和音频数据进行特征提取，得到多个单模态特征，以提取用户的微表情特征、动作特征和声音特征，从而能够在听觉和视觉上进行模态融合分析；并对多个单模态特征进行特征融合，得到融合特征，以及对融合特征进行二分类，得到用户的驾驶行为结果，相比于传统单模态处理方式，能够获取更加全面的用户信息，更能充分利用异构信息，使得驾驶行为的识别结果更具有可信度和准确度；最后若驾驶行为结果属于危险驾驶行为，则向用户发出警告信息，以达到提示用户安全驾驶的目的。

技术领域

本申请涉及安全驾驶领域，尤其涉及一种危险驾驶行为的识别方法、装置、电子设备及存储介质。

背景技术

醉酒驾驶行为属于抽象危险型驾驶行为，其对人民群众生命和健康造成严重危害，也给社会带来不安定因素。为此，交警通过观察驾驶员的脸部颜色和车辆行事路线，拦截车辆，并结合酒精检测仪检测驾驶员呼出的气体中的酒精含量，判断驾驶员是否酒驾。但是人工拦截检测的方式容易有落网之鱼，所以为了提高交通运输安全，需要更加智能的检测方式。

目前，有相关技术方案在驾驶室安装的酒精浓度检测仪，当酒精浓度检测仪检测到的酒精浓度大于预设值时，警告用户停止驾驶并控制车辆的点火系统。但是由于部分食品也可能存在酒精，或者散发在驾驶室中的酒精较少，无法被检测仪检测到，从而导致酒精浓度检测仪存在误判或漏判的情况。

发明内容

本申请提供了一种危险驾驶行为的识别方法、装置、电子设备及存储介质，以解决现有危险驾驶行为的检测方法存在检测准确率低的技术问题。

为了解决上述技术问题，第一方面，本申请实施例提供了一种危险驾驶行为的识别方法，包括：

获取在驾驶室内用户的视频数据和音频数据；

对视频数据和音频数据进行特征提取，得到多个单模态特征，单模态特征包括微表情特征、动作特征和声音特征；

对多个单模态特征进行特征融合，得到融合特征；

对融合特征进行二分类，得到用户的驾驶行为结果；

若驾驶行为结果属于危险驾驶行为，则向用户发出警告信息。

本实施例通过获取在驾驶室内用户的视频数据和音频数据，以实时监控用户；对视频数据和音频数据进行特征提取，得到多个单模态特征，以提取用户的微表情特征、动作特征和声音特征，从而能够在听觉和视觉上进行模态融合分析；并对多个单模态特征进行特征融合，得到融合特征，以及对融合特征进行二分类，得到用户的驾驶行为结果，相比于传统单模态处理方式，能够获取更加全面的用户信息，更能充分利用异构信息，使得驾驶行为的识别结果更具有可信度和准确度；最后若驾驶行为结果属于危险驾驶行为，则向用户发出警告信息，以达到提示用户安全驾驶的目的。

在一实施例中，对视频数据和音频数据进行特征提取，得到多个单模态特征，包括：

利用预设的第一多层感知机，对视频数据中的视频图像进行特征提取，得到微表情特征；

利用预设的3D卷积神经网络，对视频数据进行特征提取，得到动作特征；

利用预设的openSMILE工具，对音频数据进行特征提取，得到声音特征。

本实施例通过不同网络或工具，分别提取视频数据和音频数据的各个单模态特征，以便于获取全面的用户特征信息，从而提高后续识别过程的识别准确度。

在一优选实施例中，利用预设的第一多层感知机，对视频数据中的视频图像进行特征提取，得到微表情特征，包括：

提取视频数据的每帧视频图像中用户的脸部特征；