[发明专利]一种基于DQN的车辆自动驾驶路径规划的方法及装置

说明书

本公开实施例公开了一种基于DQN的车辆自动驾驶路径规划的方法及装置，所述基于DQN的车辆自动驾驶路径规划的方法包括获取当前时刻的车辆位置数据以及车辆的预设轨迹；根据所述车辆位置数据以及所述预设轨迹，利用训练好的DQN模型获取所述车辆的当前期望行驶方向；按照所述当前期望行驶方向，控制所述车辆的行驶方向。该技术方案将深度学习引入至强化学习，通过设置即时奖励与预设轨迹进行交互，实时输出当前期望行驶方向来控制车辆的行驶方向，提升了循迹算法的精确性和实时性，为自动驾驶路径规划系统提供了可行的解决方案。

技术领域

本公开涉及自动驾驶技术领域，具体涉及一种基于DQN的车辆自动驾驶路径规划的方法及装置。

背景技术

随着自动驾驶技术的发展，车辆自动驾驶路径规划算法发挥着整合传感信息、计算行车路径的作用，代替人类对路况进行判断，同时对车辆进行智能控制，是决定自动驾驶安全性和有效性的关键所在。现有的自动驾驶路径规划算法中，较为常见的算法有Dijkstra、Floyd-Warshall、A*算法、遗传算法和模拟退火法等，但上述方法所生成的轨迹是否满足动力学约束、侧滑约束以及执行机构约束，即轨迹的可行性仍待验证。

循迹算法通过预设行进路线，结合车辆的定位信息，选择当前位置与循迹路线的最合适路径并控制车辆行进方向，是一种较为精确且实用的路径规划算法。但是现有技术的循迹算法主要涉及自动驾驶仿真与测试环境，且基于传统的循迹点连接方法，侧重于生成车辆的规划路径，而不考虑车辆行驶方向等参数。因此，在自动驾驶场景的下，自动驾驶车辆如何控制行驶方向，并形成车辆的行驶路线成为亟待解决的问题。

发明内容

为了解决相关技术中的问题，本公开实施例提供一种基于DQN的车辆自动驾驶路径规划的方法及装置。

第一方面，本公开实施例中提供了一种基于DQN的车辆自动驾驶路径规划的方法。

具体地，所述基于DQN的车辆自动驾驶路径规划的方法，包括：

获取当前时刻的车辆位置数据以及车辆的预设轨迹；

根据所述车辆位置数据以及所述预设轨迹，利用训练好的DQN模型获取所述车辆的当前期望行驶方向；

按照所述当前期望行驶方向，控制所述车辆的行驶方向。

可选地，所述根据所述车辆位置数据以及所述预设轨迹，利用训练好的DQN模型获取所述车辆的当前期望行驶方向，包括：

根据所述车辆位置数据，获取所述车辆当前状态；

根据所述预设轨迹，将所述车辆当前状态输入至所述DQN模型，获取所述车辆预设动作集中所有动作对应的Q值；

选取所述最大的Q值所对应的动作为所述车辆的当前期望行驶方向。

可选地，所述基于DQN的车辆自动驾驶路径规划的方法，还包括：

根据车辆的历史数据以及所述预设轨迹，训练所述DQN模型。

可选地，所述根据车辆的历史数据以及所述预设轨迹，训练所述DQN模型，包括：

A：初始化所述DQN模型中当前Q网络的参数θ和目标Q′网络的参数θ'；

B：根据所述车辆历史数据中t时刻的状态s_t，获取所述车辆的转移数据＜s_t,a_t,r_t,s_t+1＞，其中，a_t代表所述车辆在所述状态s_t下执行的动作；s_t+1代表所述车辆t+1时刻的状态；r_t代表所述车辆在所述状态s_t下执行所述动作a_t转移到所述状态s_t+1时所获取的即时奖励；