[发明专利]用于自主驾驶的自动规则学习的方法和设备

说明书

本申请总体涉及一种用于生成用于控制自主车辆的动作策略的方法和设备。尤其，该方法可操作用于接收指示训练事件的输入，将驾驶情节分割为多个时间步骤，响应于每个时间步骤生成解析树，以及从所生成的解析树的组合来生成最可能的解析树。

技术领域

本公开大体上涉及编程自主机动车辆控制系统。更具体地，本公开的各方面涉及用于行为规划的系统、方法和装置，其在复杂环境中使用用于自主车辆的基于自动生成的课程序列的强化学习。

背景技术

现代车辆的操作变得更加自动化，即，能够在越来越少的驾驶员干预的情况下提供驾驶控制。车辆自动化已经被分类为范围从零(与在完全人为控制的情况下的无自动化相对应)至五(与在没有人为控制的情况下的全自动化相对应)的数值水平。各种自动化驾驶员辅助系统(诸如，巡航控制、自适应巡航控制、以及停车辅助系统)与较低自动化水平相对应，而真正的“无人驾驶”车辆则与较高自动化水平相对应。

由于安全问题，所以恰当的情况意识对于自主驾驶至关重要。即使令人期望的是将所有可用信息放入自主驾驶决策过程中；然而，对于实践实施，系统的输入数据应该是有限的和可管理的；因此，需要对其进行精心设计以提高决策制定的效率和充分性。自主车辆通常必须生成数据结构以感知车辆周围的情况。通过安装在自主驾驶车辆上的传感器，将大量信息递送至系统；因此，有效地分析用于安全驾驶的所有感知数据至关重要。

密集的城市环境及其对应的大量信息对于自主车辆和人类驾驶员来说都尤其困难。例如，如何靠近且然后穿过城市十字路口是困难的问题并且是大多数交通事故发生的情况。这种高事故率的主要原因在于驾驶员需要注意的外部因素较为丰富。在靠近停止标志时，驾驶员需要注意其前面的车辆以便避免与其相距太近或太远。同时，驾驶员需要准确地停在停止线处，以便使得其不会堵塞十字路口或撞到从其它方向靠近的其它车辆。随后，驾驶员需要作出关于何时开始穿过十字路口的恰当决策。新驾驶员可能难以知道何时穿过，并且甚至一些有经验的驾驶员也可能会错过重要的交通信息。因此，十字路口处的自主驾驶行为可能非常有益。然而，为了设计出允许自动驾驶车辆作出安全决策的可靠规划算法，工程师需要具有足够的洞察力以预见每一种可能的不良情况。在复杂的城市场景中不可预测的环境变化和频繁的人机交互会影响算法并且使得极其难以处理各种规划任务，诸如，前进是否安全、或者与前车相隔的恰当相对距离是多少。

我们的发明是一种使用真实驾驶数据来创建自主驾驶系统的新颖方法。我们经由被称为“情节”的时间序列来表示情景中的其它代理(由传感器提供)的动作。由于执行驾驶任务需要相当多的规则，所以研发自动驾驶车辆是非常繁琐的过程。我们的系统通过提取和分割关于其它代理及其交互的有价值信息来适应性地自动创建新规则。在训练阶段期间，系统自动地分割驾驶情节并且从真实驾驶数据中提取规则。这些采取“时间语法”或“情节存储器”的形式的规则被储存在“语义存储器”模块中以供以后使用。在测试阶段期间，系统不断地分割变化情况，找出对应的解析树，并且将语义存储器中储存的规则应用于停止、让行、继续驾驶等。与需要大量训练数据来实现期望质量的传统深度驾驶方法不同，我们的方法仅仅用少量训练示例就能展现出良好的结果。该系统在训练期间需要一定人为监督以避免学习错误的驾驶规则，比如，错过停止标志、闯红灯等。

我们的系统好于基于传统规则的系统，因为其消除了手动创建这些规则的繁琐过程，系统在不同情况、条件下驾驶、以及与情景中的其它代理交互期间需要遵循这些规则。与需要大量训练数据来实现期望质量的传统深度驾驶方法不同，我们的方法仅仅用少量训练示例就能展现出良好的结果。

现有技术使用基于规则的系统(Czubenko M.等人)，其在系统中描述这些规则时需要付出大量努力。所提出的方法的另一优点在于，传统的机器学习算法(Chen C.等)需要大量训练示例来实现可接受的性能。我们的方法仅仅用少量训练示例就能实现非常好的结果。与其它基于机器学习的方法不同，所提出的系统所学习的规则具有人类容易理解的表现形式。所提出的系统的另一优点在于，这些规则可以由人在具有最少的再训练的情况下容易地进行修改、变更、添加或者从系统中移除。