[发明专利]基于深度强化学习的自动驾驶车辆换道决策系统及方法

说明书

本发明涉及自动驾驶控制技术领域，公开了一种基于深度强化学习的自动驾驶车辆换道决策系统及方法，包括处理器模块，以及分别与处理器模块连接的数据采集模块、数据分析模块和换道策略模块，利用对采集到的目标车辆的数据信息，以及采集目标车辆附近的干扰车辆的运行数据进行分析，得到当前目标车辆的安全自动换道策略，实现快速安全地完成车道变更。本发明具有提高自动驾驶车辆自动换道策略的准确性，保证车辆在换道过程中的安全性，减少道路拥挤情况和碰撞事故的发生的有益效果。

技术领域

本发明涉及自动驾驶控制技术领域，具体涉及一种基于深度强化学习的自动驾驶车辆换道决策系统及方法。

背景技术

近年来，世界范围内对自动驾驶格外关注，被认为是缓解交通拥堵，减少交通事故和环境污染的重要技术，目前一些自动驾驶已经进行了大规模的道路测试，比如谷歌自动驾驶和苹果自动驾驶。据研究，在当前的交通事故中，有超过30％的道路事故是不合理的换道行为引起的，因此，针对智能辅助驾驶技术中的变道辅助技术的研究显得尤为重要，而现阶段主流的基于规则算法都面临着数据量不足导致模型无法完全应对自动驾驶车辆在换道过程中的场景无限化问题，造成换道失败或者影响换道过程中的安全性。

现有技术中，有一种基于分层强化学习的自动驾驶车辆换道决策控制方法，属于自动驾驶控制技术领域。解决了现有自动驾驶过程中存在安全性差/效率低的问题。本发明利用自动驾驶车辆实际驾驶场景中的速度及与周边环境内车辆的相对位置、相对速度信息建立带有3个隐含层的决策神经网络，并利用换道安全奖励函数对所述决策神经网络进行训练拟合Q估值函数，获取Q估值最大的动作；利用自动驾驶车辆的实际驾驶场景中的速度和周边环境车辆的相对位置信息与跟驰或换道动作对应的奖励函数，建立深度Q学习的加速度决策模型，获得换道或跟驰加速度信息，当换道时，采用5次多项式曲线生成一条参考换道轨迹。本发明适用于自动驾驶换道决策及控制。

虽然该方案能够针对换道进行模拟训练，并且针对场景和周边环境进行奖励函数的确定，保证对自动驾驶换道的训练成果，但是其针对具体的换道场景仍然存在数据量不足、换道场景受限的问题，最终导致其换道的准确率和安全性过低。

发明内容

本发明意在提供一种基于深度强化学习的自动驾驶车辆换道决策系统及方法，以提高自动驾驶车辆换道策略的准确率，保证换道安全。

为达到上述目的，本发明采用如下技术方案：基于深度强化学习的自动驾驶车辆换道决策系统，包括处理器模块，以及分别与处理器模块连接的数据采集模块、数据分析模块和换道策略模块；

数据采集模块，用于采集目标车辆的数据信息，以及采集目标车辆附近的干扰车辆的运行数据，然后形成第一数据集合并将第一数据集合发送至数据分析模块；

数据分析模块，用于对第一数据集合进行分析处理，并得到自动驾驶车辆的换道场景以及换道数据；

换道策略模块，用于根据得到的换道场景和换道数据生成第一换道策略，并将第一换道策略发送至处理器模块；

处理器模块，包括数据存储单元和换道执行单元，所述数据存储单元，用于存储第一换道策略；所述换道执行单元，用于根据所述第一换道策略得到基于规则的换道轨迹执行模型并控制自动驾驶车辆进行车道变更。

本方案的原理及优点是：实际应用时，基于规则换道模型的基础上使用深度强化学习方法对换道模型进行训练和尝试，利用Actor-Critic算法对自动驾驶车辆的换道策略进行不断优化，使自动驾驶汽车能够准确应对换道过程中的场景无限化问题，从而提高自动驾驶车辆自动换道策略的准确性，保证车辆在换道过程中的安全性，减少道路拥挤情况和碰撞事故的发生。相比于现有技术，本发明的优点在于建立的深度学习模型能够对自动驾驶技术的换道策略进行更全面准确的测试，指导自动驾驶车辆快速安全地完成车道变更，得到的换道轨迹能够适用于自动驾驶车辆换道的场景，使车辆可以在有限的数据量条件下对新的交通场景做出正确合理的反应，保障驾驶安全。