[发明专利]一种基于路径规划的深度强化学习智能车行为决策方法

说明书

本发明公开了一种基于路径规划的深度强化学习智能车行为决策方法，属于智能车自动驾驶技术领域，所述一种基于路径规划的深度强化学习智能车行为决策方法包括将任务建模为马尔科夫决策过程，搭建深度强化学习算法，智能体输入设计，智能体输出设计，搭建训练网络结构，对任务环境进行路径规划，改进奖励函数，以及训练和测试智能体模型，具有处理复杂决策、简化仿真场景到实际应用的过程、解决了训练速度慢和难以收敛的问题以及提高智能体模型的实际泛化能力的优点。

技术领域

本发明涉及智能车自动驾驶技术领域，具体是涉及一种基于路径规划的深度强化学习智能车行为决策方法。

背景技术

面对日益严峻的交通拥堵、行车安全以及环境污染等问题，自动驾驶智能车已经成为汽车行业发展的必然趋势，同时自动驾驶对产业繁荣、经济发展、科技创新、社会进步起到推动作用，全球主要国家纷纷将其上升到国家战略高度。智能车的系统架构主要包含感知模块、决策模块与控制模块，其中决策模块作为无人车“大脑”，是自主驾驶系统智能性的直接体现，对车辆的行驶安全性和整车性能起着决定性作用。

传统的智能车决策根据驾驶规则、交通法规等建立规则库，通过分析大量的驾驶数据，对不同的驾驶情况制定相应的行为决策。但是由于交通环境复杂多变，人为设置的规则库一方面无法覆盖交通环境的所有状态，另一方面在遇到规则无法匹配的状态时，车辆难以做出正确的决策甚至失去控制。

随着人工智能、芯片硬件的发展，对于传统智能车决策存在的问题，可以通过强化学习不断试错学习的方式，训练出从传感器数据到驾驶动作映射的端到端驾驶系统。强化学习(RL)是一种典型的经验驱动、自主学习方法，可以使智能体在与环境的交互中通过不断地“试错”、反馈学习以寻找完成任务的最优策略。这种最优策略是通过奖励函数来进行引导学习的，而学习过程中稀疏奖励会导致智能体无法学到好的策略，因此奖励函数的设计是强化学习的重要环节，如何合理设计奖励函数也是强化学习目前的主要研究方向之一。

因此，需要提供一种基于路径规划的深度强化学习智能车行为决策方法，旨在解决上述问题。

发明内容

针对现有技术存在的不足，本发明实施例的目的在于提供一种基于路径规划的深度强化学习智能车行为决策方法，以解决上述背景技术中的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于路径规划的深度强化学习智能车行为决策方法，包括如下步骤：

S1、将任务建模为马尔科夫决策过程；

S2、搭建深度强化学习算法；

S3、智能体输入设计；

S4、智能体输出设计；

S5、搭建训练网络结构；

S6、对任务环境进行路径规划；

S7、改进奖励函数；

S8、训练和测试智能体模型。

作为本发明进一步的方案，所述S2中深度强化学习采用深度Q网络算法，包括环境交互和网络更新，通过经验回放和固定目标网络来处理完成迭代流程以实现从感知输入到车辆行为输出的端到端映射。

作为本发明进一步的方案，所述S3中的车辆智能体的输入包括当前车辆环境信息以及自车的状态信息。

作为本发明进一步的方案，所述S4中的智能体的输出为车辆的行为决策，包括直行、左转和右转三种典型行为。

作为本发明进一步的方案，所述S5中训练网络结构采用深度神经网络，所述训练网络结构包括序贯卷积神经网络和全连接神经网络。