[发明专利]基于模仿学习初始化的强化学习换道行为规划方法及系统

说明书

本发明提出了一种基于模仿学习初始化的强化学习换道行为规划方法及系统，通过将周围车辆的变形位姿和模糊速度通过渐变色映射到栅格图上，并将具有清晰信息的交通规则和道路状况使用向量表示，将两者连接输入模仿学习DAgger网络，使自动驾驶车辆学会遵守交通规则和基本的换道决策；再利用强化学习优化模仿学习换道机制，使其适应模仿学习数据集中没有的极端和未知交通场景；可以从车辆相互作用的驱动机制和环境中学习潜在的换道驾驶机制，简化人工驾驶建模，对变道场景的动态变化具有良好的适应性，对变道任务采用动态混合奖励机制；引入一种基于模仿学习的强化学习初始化方法，解决稀疏奖励下强化学习学习效率低的问题，只需要少量的场景数据。

技术领域

本发明属于自动驾驶行为规划领域，具体涉及基于模仿学习初始化的强化学习换道行为规划方法及系统。

背景技术

在传统的自动驾驶系统中，自动驾驶车辆接收感知模块解析出的周围环境信息，做出合理的行为规划，如换道时，选择左转、右转等，再由运动规划产生相应的运动轨迹，以此完成特定的驾驶任务。其中，在复杂和高度动态化的交通环境中，自动驾驶车辆需要考虑交通规则、周围交通参与者和道路状况来做出安全可靠的决策，这一直都是一个挑战。

而目前的决策模型主要分为三类：基于启发式的规则枚举决策模型、基于最优化理论的决策模型和基于学习的决策模型。基于启发式的决策模型，看似可以很好的描述类人的决策过程，但由于交通场景的动态性和不确定性，很难创建全面覆盖所有交通场景的规则库。基于最优化理论的决策模型，考虑车辆动力学模型和优化约束，通过优化目标函数，生成舒适安全的可行驶轨迹。但需要交通场景和车辆模型的精确建模，且优化时间短，面对复杂长视觉导航任务无法做出更加长远的最优全局决策。在基于学习的决策模型，模仿学习根据高质量和大规模的人类专家决策数据，学习到安全可靠的驾驶策略；强化学习使自动驾驶车辆在与环境交互过程中通过学习策略以达到回报最大化或实现特定目标，对未知场景表现出更好的泛化性。然而，原始的基于强化学习的方法在训练早期随机初始化策略，使得策略难以在初始环境中获得有利的奖励。此外，庞大的搜索空间和稀疏的奖励空间大大减慢了学习速度。

发明内容

为了解决现有技术中存在的问题，本发明提供基于模仿学习初始化的强化学习换道行为规划方法，通过从专家的演示中学习，缓解了强化学习初始化的低效率，快速获得与专家水平一致的行为规划能力，与仅使用模仿学习的方法相比，强化学习和模仿学习的结合还保留了强化学习与环境交互中适应的能力，以应对演示数据未涵盖的不可预测和极端情况；在分层行为规划和运动规划框架下完成，设计行为规划以实现更好的决策。至于运动规划部分，采用了先进的算法来保证框架的整体性能。

为了实现上述目的，本发明采用的技术方案是：一种基于模仿学习初始化的强化学习换道行为规划方法，包括以下步骤：

S1，构建引入周围车辆模糊速度和变形位姿的栅格图M_t，将交通规则和道路状况信息合并使用向量V_t表示；

S2，使用模仿学习初始化换道决策行为规划π_b，将所述栅格图M_t和所述向量V_t连接输入模仿学习DAgger网络，输出车辆的高级决策；

S3，初始化PPO算法中Actor网络，通过SUMO仿真场景进行交互收集多组驾驶轨迹数据，在混合奖励机制的作用下，PPO算法优化换道决策行为规划，得到优化后的高级决策b_k；