[发明专利]一种基于强化学习的自动驾驶关键场景生成方法

说明书

本发明公开了一种基于强化学习的自动驾驶关键场景生成方法，其步骤包括：1)从地图库中选择一个道路场景，设置仿真系统中主车的行驶路线并为各动态环境要素分别建立概率模型；2)仿真系统控制主车开始执行仿真任务；基于强化学习技术，对所选道路场景中各动态要素的概率模型进行训练，得到各概率模型针对所选道路场景的最优参数并保存在测试用例库中；3)循环步骤1‑2)，得到各概率模型针对地图库中每一道路场景的最优参数；4)从该地图库中获取若干道路场景并组合得到测试地图，并选择仿真环境中所需的动态要素；5)从测试用例库中导入该测试地图所含的各动态要素的概率模型及对应最优参数，生成关键场景测试用例。

技术领域

本发明涉及一种基于强化学习的自动驾驶关键场景生成方法，属于计算机软件技术领域。

背景技术

如今，大多数感知和预测算法的性能对训练数据的不平衡非常敏感(也称为长尾问题)，罕见事件通常很难收集，并且在庞大的数据流中容易被忽略，这极大地挑战了机器人在现实世界中的应用，尤其是在安全关键领域(例如自动驾驶)中。

在自动驾驶行业中，通常会通过仿真来重现在测试驾驶过程中收集的关键场景。现有技术提出了一种称为最坏情况评估的替代方法，以搜索最坏情况评估车辆领域中的控制器。尽管通过最坏情况评估挖掘出的某些情况可能有用，但在现实世界中几乎不可能出现一些极具风险的情况，对于实际使用的指导意义不大。此外，现有技术主要针对自动驾驶的仿真主体(如无人车)等的路线或任务完成情况进行仿真，但是，针对仿真环境的部署如何达到企业需要的关键安全场景要求，还没有成型的方法提出。

强化学习是人工智能机器学习领域里的一个分支，用于控制能够在某个环境下自主行动的智能体，通过和环境之间的互动，包括感知与得到奖励，而不断改进它的行为。强化学习中两个最重要的特征就是试错和滞后奖励。因此，本发明基于强化学习理论提出自动驾驶测试过程中的关键场景生成方法。

发明内容

现有技术中缺少对于自动驾驶仿真环境中动态环境要素的训练，缺少对于动态环境要素如何部署的自动驾驶关键安全场景生成的问题，本发明的目的在于提供一种基于强化学习的自动驾驶关键场景生成方法。本发明针对自动驾驶仿真场景中的动态环境要素，通过强化学习在仿真过程中不断训练模型参数，得到在不同道路场景下的动态环境要素的神经网络模型，由此生成一系列关键场景测试用例。动态环境要素的模型参数包括初始位置、运动速度、运动路线、触发距离等。本发明设计了合理的动态环境要素奖励机制，结合道路场景，充分考虑了行人、车辆、交通灯等动态环境要素的运动轨迹和对于主车的影响。

在本发明中，自动驾驶测试场景的地图库可由测试系统预先设置，也可由用户导入地图场景；主车是指在测试系统中被测虚拟车辆，其运动轨迹和行为模式由仿真系统的决策模块控制；动态环境要素主要包括行人、其他行驶车辆、交通灯三种类型，可在仿真系统中对被测虚拟车辆的行驶造成动态干扰，其中行人是在测试场景中的道路参与者，其他行驶车辆是共同使用测试场景道路的非被测车辆，交通灯是相对静态的交通要素，用于控制路口的交通灯时间变换。

本发明基于强化学习的自动驾驶关键场景生成方法包括以下步骤：

步骤1：测试场景的初始化，从地图库中选择一个道路场景，设置主车的行驶路线，为行人、其他行驶车辆、交通灯三类动态环境要素分别建立初始概率模型；

步骤2：仿真系统的决策模块控制主车开始执行仿真任务；基于强化学习技术，针对于所选的道路场景中三类动态要素的概率模型参数进行训练；

步骤3：三类动态要素最终得到针对所选道路情况的概率模型的最优参数，保存在测试用例库中；

步骤4：循环步骤1-3，直至三类动态要素在地图库中所有道路场景都训练获得概率模型最优参数；

步骤5：从地图库中导入道路组合为任意测试地图，选择仿真环境中用户需要的动态要素，这里的动态要素主要包括行人、其他行驶车辆、交通灯等；