[发明专利]面向自动驾驶的基于深度强化学习的端到端导航避障方法

说明书

本发明涉及一种面向自动驾驶的基于深度强化学习的端到端导航避障方法，采用激光雷达，对激光雷达点云进行采样，生成环境一维激光点云，并通过代价地图转换算法进行转换，得到表示环境动态静态障碍物的障碍物地图；通过与仿真环境进行闭环交互，收集环境障碍物地图，从而生成导航环境数据集；构建异构智能体自我博弈避障模型，异构多智能体自我博弈模型包括：观测空间、动作空间、奖励函数和神经网络；进行多阶段并行课程学习，以使神经网络更快更好的达到局部最优解，同时加速学习过程，最终得到训练后的异构智能体自我博弈避障模型；将训练好的异构智能体自我博弈避障模型部署到实际车辆上，在现实世界中实现导航和避障。

技术领域

本发明涉及一种面向自动驾驶的基于深度强化学习的端到端导航避障方法，属于自动驾驶技术领域。

背景技术

近年来，随着自动驾驶的广泛应用，导航和避障方法层出不穷。深度强化学习(DRL)方法已应用于智能体导航，并取得了较好的成果，其中自动驾驶车辆为Ackermann动力学模型。然而，开发一种基于深度强化学习的Ackermann转向车辆在未知的移动障碍物场景中的避碰方法仍然具有挑战性。经过训练的网络不仅需要生成满足Ackermann运动学约束的无碰撞轨迹，而且还需要在各种环境中处理多个移动障碍物。这使得深度强化学习需要在更庞大的搜索空间中搜索可行的无碰撞且满足动力学约束的轨迹。Ackermann转向车辆在具有静态和移动障碍物的各种环境中有效地找到通往目标的无碰撞且运动学可行的路径，这是自动驾驶汽车的主要挑战之一[1]。在自动驾驶场景中，常见的静态和动态障碍物中主要包括静态场景元素、动态车辆、行人和自行车等。静态和动态障碍物场景中实现自动驾驶的问题可以描述成异构动力学模型下的多智能体导航和避障问题。

尽管已经提出了许多避免碰撞的方法，但它们在实践中存在一些常见的限制。例如，该方法的假设可能并不适用于所有环境[2]。

此外，在分布式和无通信场景中为具有不同形状和不同运动学约束的多智能体碰撞避免是一项更具挑战性的任务。现有的方法，如最优相互碰撞避免(ORCA)[3]和自行车相互碰撞避免(B-ORCA)[4]，为智能体避免相互碰撞提供了充分条件。但是，它们要求智能体使用相同的运动学约束。广义相互碰撞避免将方法扩展到具有不同运动学约束的智能体，如差动驱动和Ackermann转向。

为了克服这些限制，深度强化学习(DRL)方法已被应用于避免碰撞问题中，并取得了较好的结果。然而，常见的深度强化学习方法很少考虑为具有不同运动学约束的多智能体碰撞避免，这限制了它们的应用。例如在同时具有汽车和行人的复杂场景中，传统的深度强化学习方法不能够很好的实现较好的导航。

[1]Dong Y,Zhang Y,Ai J.Experimental test of unmanned ground vehicledelivering goods using RRT path planning algorithm[J].Unmanned Systems,2017,5(01):45-57.

[2]Zhang W,Wei S,Teng Y,et al.Dynamic obstacle avoidance for unmannedunderwater vehicles based on an improved velocity obstacle method[J].Sensors,2017,17(12):2742.

[3]Berg J,Guy S J,Lin M,et al.Reciprocal n-body collision avoidance[M]//Robotics research.Springer,Berlin,Heidelberg,2011:3-19.