[发明专利]基于深度强化学习的自适应动态窗口法

说明书

本发明公开了一种基于深度强化学习的自适应动态窗口法，首先构建面向DWA算法的深度强化学习模型，具体包括智能体、环境、动作与状态空间、奖励函数、网络架构等要素；之后根据DWA算法原理，模拟智能车在随机生成的障碍物地图中运动，以获得用于神经网络梯度下降的训练集；随后根据近端策略优化(PPO)算法思想进行梯度下降以最大化强化学习奖励；训练最终结果得到一个收敛的神经网络，将该神经网络与DWA算法评价函数融合，完成自适应DWA算法的构建。

技术领域

本发明涉及无人驾驶路径规划和自主导航技术领域，具体涉及一种基于深度强化学习的自适应动态窗口法。具体为一种针对当前动态窗口法(DWA)其评价函数的三个权重(速度权重、障碍物权重、朝向角权重)在面对不同障碍物环境时，其取值并不会随着智能车所处的环境及其自身的运动状态做出动态调整，而导致的智能体在面对不同障碍物环境往往不能够寻至终点或者算出最优路径缺陷的解决方法。

背景技术

路径规划是自动驾驶智能车的重要组成部分，路径规划技术可归结为在任务区域选择出可从起点连接至终点的最优避障路径，本质为几个约束条件下的最优解，路径规划是智能车无人导航技术的关键部分。路径规划算法又可分为基于完整区域信息理解的全局规划与基于局部区域信息理解的局部规划。动态窗口法(Dynamic Window Approach,DWA)作为考虑智能车运动性能的局部路径规划方法，广泛应用于智能车路径导航。

动态窗口法速度-角速度组合指令驱动智能车行进，工作流程为：考虑t时刻的各条件对速度-角速度空间的约束，得出t时刻智能车所能到达的速度-角速度范围；将其离散化；对离散后的速度-角速度进行组合；智能车遍历所有组合并按照给定运动模型模拟前行m个Δ_t时长，获得模拟轨迹集τ；评价函数给出模拟轨迹集τ中的所有模拟轨迹的得分，选取评分最高轨迹对应的组合；以该组合驱动智能车前进时长Δ_t到达t+1以此循环直至终点。m为DWA算法模拟轨迹采样步数，Δ_t为采样时间间隔。起决策作用的为其评价函数，包括朝向角函数、障碍物函数、速度函数等三部分，评价函数为这三个子函数的加权求和，原DWA算法中该三个函数所对应的权重为固定值，然而智能车在探索终点过程，其周围的障碍物环境是复杂多变的，不同障碍物分布需要不同的权重，导致原DWA算法固定权重值方法容易使智能车陷入局部最优或目标不可达。

发明内容

本发明目的在于针对现有DWA算法路径规划算法，其评价函数中的权重参数为固定值或无法根据智能车运动状态，结合周围障碍物环境实时调整出适用于当前时刻的最优评价函数的问题，提供一种基于深度强化学习(Deep Reinforcement Learning)方法的自适应动态调节DWA算法评价函数的方法。

本发明首先构建面向DWA算法的深度强化学习模型，具体包括智能体、环境、动作与状态空间、奖励函数、网络架构等要素；之后根据DWA算法原理，模拟智能车在随机生成的障碍物地图中运动，以获得用于神经网络梯度下降的训练集；随后根据近端策略优化(PPO)算法思想进行梯度下降以最大化强化学习奖励；训练最终结果得到一个收敛的神经网络，将该神经网络与DWA算法评价函数融合，完成自适应DWA算法的构建。最后通过Python3平台仿真，验证算法的有效性。

为实现上述目的，本发明采取如下技术方案：

一种基于深度强化学习的自适应动态窗口法，其特征在于，包括以下步骤：

步骤S1：建立DWA算法模型，根据阿克曼智能车确定包括:速度范围[v_min,v_max]、角速度范围[w_min,w_max]、加速度范围角加速度范围的参数及DWA算法的要素；

步骤S2：构建面向DWA算法的深度强化学习模型，具体包括智能体、环境、动作与状态空间、奖励函数、深度强化学习架构；