[发明专利]一种基于时空鸟瞰图和策略梯度算法的自动驾驶轨迹规划系统及方法

说明书

本发明公开了一种基于时空鸟瞰图和策略梯度算法的自动驾驶轨迹规划系统及方法，属于自动驾驶驾驶技术领域，通过机器学习来生成自动驾驶车辆的规划轨迹，使得规划轨迹更加智能化，提高了自动驾驶车辆在复杂场景下的轨迹规划能力，提高了普通采样法进行轨迹规划算法的效率，避免了复杂交通场景下的无效采样；本发明提出使用时空鸟瞰图作为策略网络的输入状态量，使得轨迹规划策略网络能有效的提取周边交通环境特征；本发明提出的策略梯度算法实现自动驾驶轨迹规划的方法，将交通环境、规划器和控制器有效联系起来，实现了三者的有效耦合，使得规划器输出轨迹能有效的适应车辆的动力学特性和控制器。

技术领域

本发明属于自动驾驶汽车轨迹规划技术领域，特别涉及了一种基于时空鸟瞰图和策略梯度算法的自动驾驶轨迹规划系统及方法。

背景技术

近年来自动驾驶技术得到了迅速发展。它不仅在经济上具有巨大潜力，而且在提高交通效率和驾驶安全方面也具有巨大优势。轨迹规划作为自动驾驶系统中不可避免的一环，对整个自动驾驶车辆的研究具有重要意义。如何根据上层感知和预测结果，准确避开周边障碍物，进行安全和高效的行驶，是对自动驾驶车辆的基本要求。可靠的自动驾驶轨迹规划算法，可以实时指导自动驾驶车辆安全地避开周边障碍物，具有较高的安全和舒适性，能够极大的提高行车效率。现有的规划算法大都是基于人为规则的采样、搜索方法和优化法。一般的类似栅格法的采样方法难以进行完全采样，只能采样到较优的行驶轨迹。而完全的搜索方法，较难考虑到自动驾驶车辆的动力学约束。利用优化法进行轨迹规划算法对车载计算机的算力有较高的要求，每一帧之间轨迹的优化延时较大。因此，目前学术界和工业界在内的大多数自主驾驶研究者都在关注更加智能、安全和可靠的轨迹规划方法。

强化学习通过机器学习的方式，利用环境中提取的状态特征，做出相应的动作输出，进一步获得周边环境的反馈，再通过反馈不断完善自身的方法。目前，越来越多的学者将其应用到自动驾驶领域。利用强化学习训练规划器，训练出直接映射交通环境和规划轨迹的模型，使得该模型成为一种智能的轨迹规划器，能够适应复杂的交通场景，通过环境的反馈不断自我完善，最终规划出的轨迹可以超于一般基于规则的轨迹规划算法。但如何设计一种有效的算法和应用方式，凸显强化学习方法在自动驾驶轨迹规划方面的优势成为了大多数研究学者关注的重点。

发明内容

基于上述问题，本发明设计了一种基于时空鸟瞰图和策略梯度算法的自动驾驶轨迹规划系统及方法，利用策略梯度算法，提高自动驾驶车辆行驶安全性，使得自动驾驶车辆的行驶轨迹更加智能化。与策略梯度算法相配合提出的时空鸟瞰图作为状态量，能够加强策略网络特征提取的能力，使得网络收敛更加容易，提高了方法的可行性。

一种基于时空鸟瞰图和策略梯度算法的自动驾驶轨迹规划系统，包括两部分：基于时空鸟瞰图和策略梯度算法的自动驾驶轨迹规划模块和轨迹规划策略网络模块。

所述基于时空鸟瞰图和策略梯度算法的自动驾驶轨迹规划模块具体设计如下：

(1)根据自动驾驶汽车的感知模块，获得周边的环境信息，包括动、静态障碍物，车道线。利用预测模块获得动态障碍物在未来0～t_end的时间内的位置信息；

(2)将感知模块和预测模块所获得的信息，生成横向、纵向和时间三个维度的时空鸟瞰图；

(3)利用策略网络，对时空鸟瞰图进行进一步的特征提取，并输出轨迹的末状态其中s为纵向位移；为纵向位移s关于时间t的一阶导，为纵向位移s关于时间t的二阶导数；l为横向位移；为横向位移关于时间t的一阶导数；为横向位移关于时间t的二阶导数；

(4)根据当前时刻自动驾驶车辆的纵向状态和策略网络输出的纵向状态生成纵向轨迹trajectory_longitudinal；根据当前时刻自动驾驶车辆的横向状态生成横向轨迹trajectory_lateral；