[发明专利]一种基于轻量级多模态神经网络的行车危险场景辨识方法

说明书

本发明涉及一种基于轻量级多模态神经网络的行车危险场景辨识方法，包括以下：获取当前时间段内驾驶视频和车载数据；将驾驶视频的画面划分为上下分布的三个驾驶区域，将视频每一帧画面的每个驾驶区域内的图像在竖直方向上做均值化处理，转化为一行像素，然后将每帧对应的一行像素按时间顺序拼接在一起，形成每个驾驶区域的运动轮廓图；将每个驾驶区域的运动轮廓图和车载数据输入至行车风险评估模型得到辨识结果；所述行车风险评估模型为包括视觉数据处理层、运动学数据处理层、数据融合层和预测层的多模态神经网络。与现有技术相比，本发明具有减小运行数据量、简化模型计算过程，耗时低、准确率高等优点。

技术领域

本发明涉及自动驾驶算法领域，尤其是涉及一种基于轻量级多模态神经网络的行车危险场景辨识方法。

背景技术

目前，自动驾驶汽车正在全球范围内进行大规模的测试，其中安全测试是首要关注的问题。与传统车辆一般采用基于距离的方法进行测试不同的是，自动车辆主要采用基于场景的测试方法。因此，虚拟驾驶场景的构建是目前的一个关键研究问题。而其中，危险驾驶场景通常被认为比正常场景更重要，因为前者可以被用来更快地识别潜在的安全问题，从而提高测试工作的效率。

为了识别危险驾驶场景，传统的方法主要依赖于结构化数据，包括雷达采集到的运动学数据速度、加速度等。例如，“Crash and near-crash prediction from vehiclekinematics data:A SHRP2 naturalistic driving study”中基于运动学数据使用了经典机器学习分类器，包括kNN，随机森林，SVM，决策树，高斯邻域和AdaBoost。然而，这些传统方法的一个主要问题是，由于提取的结构化数据质量差，以及对驾驶环境的感知不完整，误报率高。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于轻量级多模态神经网络的行车危险场景辨识方法，以供自动驾驶算法测试使用，提高自动驾驶测试的准确性。

本发明的目的可以通过以下技术方案来实现：

一种基于轻量级多模态神经网络的行车危险场景辨识方法，其特征在于，包括以下步骤：

S1、获取当前时间段内驾驶视频和车载数据；

S2、将驾驶视频的画面划分为上下分布的三个驾驶区域，将视频每一帧画面的每个驾驶区域内的图像在竖直方向上做均值化处理，转化为一行像素，然后将每帧对应的一行像素按时间顺序拼接在一起，形成每个驾驶区域的运动轮廓图；

S3、将每个驾驶区域的运动轮廓图和车载数据输入至行车风险评估模型得到辨识结果；

所述行车风险评估模型为包括视觉数据处理层、运动学数据处理层、数据融合层和预测层的多模态神经网络，其中：所述视觉数据处理层为轻量化CNN网络，采用AlexNet网络结构并且引入注意力机制进行改进，用于运动轮廓图输入轻量化CNN网络后输出得到视觉特征；所述运动学数据处理层为LSTM网络，用于车载数据输入LSTM网络后输出得到运动学特征；所述数据融合层为全连接层，用于输入视觉特征和运动学特征后输出得到辨识结果。

进一步地，步骤S2中具体包括：

S21、对驾驶视频根据相机机位，按照与本车的远近距离从原视频中划分出三个驾驶区域，每个区域由上边界和下边界划分；

S22、基于当前时间段[t_a,t_b]内的驾驶视频片段，对步骤S21中得到的每一个驾驶区域进行采样，获取每帧画面中纵向[y_l,y_u]、横向[0,w]矩形范围内的RGB像素值，其中w为视频宽度，y_l为采样下边界，y_u为采样上边界；