[发明专利]用于经由多次迭代训练用于控制装置的控制策略的设备和方法

说明书

用于经由多次迭代训练用于控制装置的控制策略的设备和方法。根据一种实施方式，描述用于经由多次迭代训练用于控制装置的控制策略的方法，其中在每个迭代中对于控制策略的当前版本确定探索策略；执行多个模拟过程，其中为每个模拟过程针对状态序列中的每个状态根据探索策略从所述模拟过程的初始状态开始一直选择动作，并且检验所选择的动作是否是安全的，直至已选择了安全动作或者已选择了最大数量为大于等于2的动作为止，如果已选择了安全动作，则在执行所选择的动作时通过模拟确定状态序列中的状态的后续状态，或者如果在根据策略达到最大数量之前未选择安全动作，则中止模拟过程，或者如果存在预先给定的安全动作，则选择预先给定的安全动作。

技术领域

各种实施例一般而言涉及训练用于控制装置、尤其是机器人控制装置的控制策略的设备和方法。

背景技术

近年来，自主驾驶不仅在研究中而且在公众中已经成为有巨大兴趣的主题。自主车辆（AVs）不仅在经济上而且对于机动性可能性的改善以及潜在地对于碳排放的减少都具有极大的潜力。像在每种机器人系统情况下的控制那样，自主驾驶包含作出决策。通过解决一系列路径规划问题来进行在自主驾驶时对决策的典型实施。所述路径规划问题被表述为一系列优化问题，其中特定的边界条件适用。于是为控制选择（例如具有最低成本的）解决方案。这种方案是计算密集的并且也可能导致不舒适的车辆运动。

另一方案是增强或强化学习（也用英文Reinforcement Learning（强化学习）（RL）表示）。在RL情况下，基于为控制动作或在此实现的状态而获得的奖励来适配控制策略。训练是不定期的（episodisch）。在多个模拟过程（称为“试运行（Rollout）”）的每一个中，控制器通过根据当前的控制策略选择控制动作在一定时间内与环境（即交通场景）进行交互，并且适配控制策略，用以使预期的奖励最大化。

然而，在自主驾驶（以及还有其他控制场景）情况下，可能发生不可实施的动作。例如，如果目标车道不是空闲的，则不能实施车道变换。

针对该问题的解决方案的方法是在不可实施的动作的情况下，将惩罚（非常低的并且负的奖励）加到实际奖励上，并且提早中止模拟过程。这种方案具有的缺点是，在具有可实施的动作的复杂子集的RL应用情况下，在训练过程开始时几乎仅仅从环境中获得惩罚，因为该策略尚未学习究竟可以执行哪些动作。但是由于对于不可实施的动作而言惩罚严重过重，因此恰好变得难以对于策略完全实现学习进展。因此，需要非常多的并且可能过多的试运行，用以学习获得高奖励的策略。

在出版物Nageshrao, Subramanya, Eric Tseng和Dimitar Filev的AutonomousHighway Driving using Deep Reinforcement Learning. arXiv preprint arXiv:1904.00035 (2019): https://arxiv.org/pdf/1904.00035（以下称为参考文献[1]）中提出：在训练中像冲突那样处置不可实施的动作，即给其配备高惩罚，并且将试运行认为是结束的。但是，模拟不被终止，并且代替地继续安全动作。由此，训练数据通常包含至少一半可实施的动作（对应于安全动作）。然而，在单次不可实施的动作之后中断训练中的试运行。关于在针对安全动作被校正的动作之后先前动作对奖励的贡献的信息丢失。

Dalal, Gal等人的Safe exploration in continuous action spaces. arXivpreprint arXiv:1801.08757 (2018): https://arxiv.org/pdf/1801.08757（以下称为参考文献[2]）对于不允许的动作通过关于可测量和连续的目标参量随后超过阈值来定义的情况提出一种方案。为此，估计模型，该模型基于当前状态和待检验的动作来预测目标参量。该策略的模型最后通过层被扩展，使得该模型试图避免选择不允许的动作。在此需要目标参量的模型在待检验的动作中是线性的，这在自主驾驶中的应用中的复杂关系情况下通常不是这种情况。