[发明专利]基于视觉感知的驾驶风险预警装置及方法

说明书

本发明公开基于视觉感知的驾驶风险预警装置及方法。本发明通过在汽车的四个方向安装若干摄像头实时采集车辆行驶过程中车辆周边环境的视频，并通过深度学习的算法计算出自身车辆的行驶风险类型和周边运动车辆的风险等级。本发明可以同时利用实时系统的实时性对当前深度卷积神经网络的模型进行实时切换，在保证风险驾驶行为预测的准确性和实时性的基础上，有效的避免了计算资源的浪费。本发明可以通知感知周围车辆的驾驶行为风险和本车的驾驶行为风险，为车辆动态风险的预测提供了更全面的信息。

技术领域

本发明属于无人驾驶技术领域，涉及一种基于深度学习网络的车辆驾驶风险预警的装置及方法。

背景技术

近年来，世界经济与科技的高速发展大大促进了交通运输行业的发展。交通运输行业发展的同时，大量触目惊心的交通事故也在不停地发生，在大部分情况下完全依靠驾驶员自身来规避危险显然并不可靠，因此如果车载预警装置在遇到危险时可以提前感知驾驶风险，那么交通事故的数量就可以大大减少。

驾驶风险预警装置目前多数是基于自身驾驶的风险评估，基本没有考虑道路环境中周围车辆的驾驶行为风险对自身驾驶风险的影响。

本发明通过在汽车的四个方向安装若干摄像头实时采集车辆行驶过程中车辆周边环境的视频，并通过深度学习的算法计算出自身车辆的行驶风险类型和周边运动车辆的风险等级。

发明内容

本发明所要解决的技术问题至少是如何结合周围车辆驾驶行为对自身驾驶行为的风险影响，提供一种基于混合深度学习模型的考虑周围车辆驾驶行为的驾驶风险评估方法。

本发明方法具体包括以下步骤：

步骤(1)、在汽车行驶过程中，四个摄像头实时采集周边视频；四个摄像头采集到的视频分别经过视频解码器转化为四组数字图像信息序列；每一组数字图像信息序列可以用矩阵的方式表示：

其中fig.n表示视频序列中的第n张图片，sequence描述了fig_num张大小为width×height的图片组成的图片序列。

步骤(2)、每一组数字图像分别输入到混合深度学习模型获取风险评估结果；混合深度学习模型由VGG网络、faster-rcnn网络和LSTM网络组成，具体是：

2.1VGG网络的输入为步骤(1)数字图像，输出为图像特征序列；

2.2faster-rcnn网络的输入为VGG网络输出的图像特征序列，输出为周边车辆的对应位置；

2.3第一LSTM网络的输入为每个周边车辆在每一帧图像中的相对风险系数，输出为每个周边车辆的风险结果P_{周边车辆j}；

所述的每个周边车辆在每一帧图像中周边车辆的相对风险系数由faster-rcnn网络输出的周边车辆的对应位置与风险估计矩阵相乘所得；

其中表示风险估计矩阵，由所有的周边车辆相关风险系数组成，w_ij表示了周边车辆中第j辆车对于第i辆车的风险影响的权重大小；obj_i表示第i辆周边车辆的位置，res_i表示第i辆周边车辆的相对风险系数，n表示矩阵大小，为经验值,可根据装置的分辨率和镜头的视场角来决定(n通常设置为100)。

2.4第二LSTM网络的输入为VGG网络输出的图像特征序列，输出为自身车辆的驾驶行为分类，包括实线变道、虚线变道、跟车过近、变道超车、正常行驶；

步骤(3)、考虑结合车身CAN数据总线获取的转向灯状态的自身车辆的驾驶行为变道风险系数，以及自身车辆的车速信息，根据公式(2)获得自身车辆的风险结果。