[发明专利]一种基于深度强化学习的防碰撞控制方法

说明书

本发明公开了一种基于深度强化学习的防碰撞控制方法，采用深度确定性策略梯度方法(DDPG算法)进行深度强化学习，该方法包括：步骤1，提取本车参数和环境车辆参数；步骤2，利用本车参数和环境车辆参数，构建虚拟环境模型；步骤3，根据本车参数和环境车辆参数和虚拟环境模型，定义所述深度确定性策略梯度方法的基础参数；步骤4，根据步骤3定义好的基础参数，采用深度强化学习中的神经网络构建防碰撞控制决策系统，所述防碰撞控制决策系统包括策略网络和评价网络；步骤5，训练所述策略网络和评价网络，得到所述防碰撞控制决策系统。本发明通过构建基于深度神经网络的防碰撞控制决策系统，基于时间差分强化学习方法不断优化网络控制结果的防碰撞控制决策系统，有效提高了防碰撞控制决策系统的控制性能。

技术领域

本发明涉及辅助驾驶以及自动驾驶技术领域，尤其涉及一种基于深度强化学习的防碰撞控制方法。

背景技术

在车辆行驶时，与前方车辆保持稳定的安全距离，能够有效地防止碰撞事故的发生。随着汽车数量的增加，道路上汽车的密度越来越大，因此车辆前向碰撞预警显得尤为重要。防碰撞控制系统可以判断本车1与前车2以及旁车道前方车辆之间的纵横向距离、纵横向相对速度以及方位，当存在潜在碰撞危险时对车辆进行一定的控制，能够有效降低车辆与前车以及旁车道前方车辆的碰撞事故，提高交通安全、降低交通事故的发生率。目前，提高防碰撞控制系统判断能力和系统的自适应能力是防碰撞技术的重点和难点。

申请公开号为CN107886043A，申请公布日为2018年4月6号的专利文献中提供了一种前撞预警系统，具体是一种视觉感知的汽车前视车辆和行人防碰撞预警系统及方法，对汽车前视摄像头获取的视频进行逐帧读取，并运用训练级联分类器，实现对视频中的车辆、行人进行识别，并同时结合直线检测，来对识别结果进行过滤，利用深度DBN网络完成对本车前方车辆、行人信息的判定。然后计算本车1与前车2、本车与前面行人的相对距离及相对角度，计算出安全时距，则发出警报。此发明虽然可以实现较为准确的识别，但是计算量大时效性差，只能通过学习识别感知外界环境，不能逐渐优化动作策略，也无法针对旁车道车辆状态进行有效预警。

申请公开号为CN105946766A，申请公布日为2016年9月21号的专利中提供了一种前撞预警系统，此系统涉及一种基于激光雷达与视觉的车辆碰撞预警系统及其控制方法，包括处理模块和人机交互模块，处理模块包括决策控制单元、图像采集单元以及雷达采集单元，其分别可采集视频图像信息、雷达信息并进行相应的处理。人机交互模块与处理模块通讯连接，用于接收决策控制单元输出的信息并进行相应人机交互。此专利虽然可以准确实现碰撞预警但是成本过于高，不利于普遍推广使用。

综上所述，车辆防碰撞控制系统中，一般是通过摄像头获取前方状况图像，提取特征值识别车辆、行人等，获取其距离和速度信息，然后进行危险性判定，这个系统不仅需要设计复杂的防碰撞控制决策系统模型，而且自适应能力弱，不具有自学习能力，无法适应不同环境下的预警需求；同时，目前前撞预警系统没有考虑车辆旁边两车道车辆的影响而进行前撞预警决策。

发明内容

本发明的目的在于提供一种基于深度强化学习的防碰撞控制方法来克服或至少减轻现有技术的上述缺陷中的至少一个。

为实现上述目的，本发明提供一种基于深度强化学习的防碰撞控制方法，采用深度确定性策略梯度方法进行深度强化学习，该方法包括如下步骤：

步骤1，提取本车参数和环境车辆参数；

步骤2，利用步骤1提取得到的本车参数和环境车辆参数，构建虚拟环境模型；