[发明专利]一种基于强化学习的结构化道路无人驾驶决策规划方法

说明书

本发明公开了一种基于强化学习的结构化道路无人驾驶决策规划方法，结合强化学习和传统贝塞尔曲线轨迹生成方法的优点，利用DQN网络进行决策方法的训练，并根据决策信息利用贝塞尔曲线规划最优轨迹；本发明是在已知高精度地图、全局路径的前提下对智能车辆所在的局部行驶环境进行智能决策与规划，实现结构化道路下符合人类驾驶习惯的安全决策；利用DQN网络，输入多帧车辆所处的局部地图，得到的决策信息结合轨迹规划方法得到reward反馈，驱动DQN网络的更新。

技术领域

本发明属于智能车辆的技术领域，具体涉及一种基于强化学习的结构化道路无人驾驶决策规划方法。

背景技术

智能车辆(Intelligent Vehicle，IV)，也称作地面无人平台(Unmanned GroundVehicle，UGV)，是一个集环境感知、规划决策、多等级辅助驾驶等功能于一体的综合系统，集中运用了计算机、现代传感、信息融合、通讯、人工智能及自动控制等技术。

智能车辆对于结构化道路环境下的智能决策规划技术研究对于各个行业的发展均具有重大意义，能够代替人类完成高密度、长周期、大流量等复杂场景下的繁琐作业，极大地节省人力物力。城市结构化道路具备着拓扑结构清晰、交通规则已知、限制条件明确等特点。然而对于城市结构化道路，智能车辆的无人驾驶仍然存在着诸多问题。首先，城市结构化道路下动态车辆运动状态复杂，其次需要对行驶状态进行实时决策，以确保行驶的安全性。

基于规则限定的无人驾驶决策方法需要对大量的驾驶数据进行分析，面对结构化道路复杂多变的场景，基于规则的决策方法鲁棒性较差。随着机器学习的发展，强化学习在无人驾驶的应用也更加广泛。其目的是通过和环境交互，学习如何在相应观测中采取最优行为。相比传统的机器学习，它有以下优势：首先，由于不需要标注的过程，可以更有效地解决环境中存在的特殊情况。其次，可以把整个系统作为一个整体，从而对其中的一些模块更加鲁棒。强化学习是机器学习的一个重要分支，是多学科多领域交叉的一个产物，它的本质是解决决策问题，即自动进行决策，并且可以做连续决策。

在结构化道路下，面对复杂的动态场景，智能车辆需要准确的决策，并规划一条符合车辆运动学的安全轨迹。从“图像输入”直接映射到车辆“速度、方向”的“端到端”控制方式是当前无人驾驶的研究热点之一，然而其可解释性较差。因此本发明结合强化学习不断从环境中学习决策策略的优点和传统轨迹生成方法符合运动学规律的优点，面对复杂结构化道路，进行车辆的决策和规划，符合人类驾驶行为习惯的智能决策。

发明内容

有鉴于此，本发明提供了一种基于强化学习的结构化道路无人驾驶决策规划方法，能够结合强化学习不断从环境中学习决策策略的优点和传统轨迹生成方法的优点，面对复杂结构化道路，进行车辆的决策和规划，生成符合人类驾驶行为习惯的智能决策。

实现本发明的技术方案如下：

一种基于强化学习的结构化道路无人驾驶决策规划方法，包括以下步骤：

步骤一、选取主车前方a米的距离范围构建局部地图，在局部地图中根据实际道路情况划分车道信息，并标注主车位置(s_ego,d_ego)及其他车辆的位置信息(s_i,d_i)(i＝1,2,...,n)；

步骤二、随着主车的运动获得多帧局部地图，将所述多帧局部地图作为训练后的DQN网络的输入，输出面对当前场景主车采取的决策策略并获得目标车道，决策策略为：车道保持、向左换道或向右换道；

其中，DQN网络在训练过程中，通过奖励函数获得DQN网络的奖励值，用于Target-Q网络的更新；

所述奖励函数为：

c₁,c₂为reward权重，k(t)为轨迹的曲率；t为训练时间，v为当前车速，v_Target为目标车速；