[发明专利]用于控制机器人的方法和设备

说明书

用于控制机器人的方法和设备。根据各种实施例，描述了一种用于控制机器人的方法，所述方法包括：获取表示机器人环境的传感器数据；根据传感器数据标识机器人环境中的一个或多个对象；将所述一个或多个对象中的每一个和机器人与多智能体系统的相应智能体相关联；为多智能体系统的每个智能体确定质量度量，所述质量度量包括针对一位置处的移动动作的奖励项和取决于其他智能体在一时间处占用与所述智能体相同位置的概率的耦合项；确定机器人的移动策略，所述移动策略以比具有为机器人确定的质量度量的较低值的移动动作更高的概率选择具有质量度量的较高值的移动动作；以及根据移动策略控制机器人。

本公开涉及用于控制机器人的设备和方法。

多智能体学习是机器学习中的一个具有挑战性的问题，其在诸如分布式控制、机器人学（包括自主驾驶）和经济学之类的不同领域中具有应用。在许多多智能体系统中，智能体不一定针对其他智能体选择其最优战略。例如，自主车辆将不突然取代人类控制的车辆，并且将不在单独的路线上与人类控制的交通隔离。因此，自主车辆将不得不在具有人类控制的其他对象的混合交通中安全移动，由此这些外部对象也包括行人作为较弱的道路使用者。在人类控制的外部对象的情况下，至于这些其他对象接下来将执行哪个移动动作存在不确定性。

公开DE 10 2018 210 280 A1描述了一种用于特别是在具有人类控制的其他对象的混合交通中的自主车辆的轨迹规划方法。在该方法中，为每个其他对象建立Q函数，并通过最大化该Q函数为自主车辆和其他对象确定最优移动策略。根据最优移动策略，确定其他对象的轨迹以及自主车辆的轨迹。

然而，该方法具有指数级的运行时间和内存要求。该方法的内存要求是T ×A ×P ×S^P，其中S为状态数量，P为玩家数量，A标示动作数量，并且T为时间跨度（时间步长数量）。因此，该方法可以应用于具有少量玩家的小状态和动作空间，但是20个状态和4个玩家以及5个时间步长的多智能体游戏的计算时间可能容易超过三天的计算时间。

因此，用于在多智能体场景中确定轨迹的更高效的方法是合期望的。

具有独立权利要求1（对应于下面给出的第一示例）和独立权利要求7的特征的用于控制机器人的方法和机器人控制器提供了比上述方法更高效的用于轨迹规划的方法。由于智能体之间的交互仅通过包括占用度量的耦合项来建模，因此可以降低计算复杂度和内存。特别是，可以避免起因于将每个智能体的行为建模为在所有智能体的状态的乘积空间之上的Q函数所致的指数级的内存和运行时间要求。例如，对于20个状态和4个玩家和5个时间步长的多智能体游戏，计算时间可以降低到1秒，并且从而使该方法在实践中可使用。

在下文中，给出了示例性实施例。

示例1是一种用于控制机器人的方法，所述方法包括：获取表示机器人环境的传感器数据；根据传感器数据标识机器人环境中的一个或多个对象；将所述一个或多个对象中的每一个和机器人与多智能体系统的相应智能体相关联；为多智能体系统的每个智能体确定质量度量，所述质量度量包括针对一位置处的移动动作的奖励项和取决于其他智能体在一时间处占用与所述智能体相同位置的概率的耦合项；确定机器人的移动策略，所述移动策略以比具有为机器人确定的质量度量的较低值的移动动作更高的概率选择具有质量度量的较高值的移动动作；以及根据移动策略控制机器人。

示例2是根据示例1的方法，其中耦合项是其他智能体的占用度量的泛函，其中，对于每个智能体，位置和时间的占用度量标示智能体在所述时间处于所述位置中的可能性。

各种智能体的质量度量经由占用度量的耦合允许高效地解决多智能体强化学习问题并导出用于机器人的控制策略。

示例3是根据示例1或2的方法，其中确定质量度量包括在多次迭代中迭代地确定质量度量，其中每次迭代包括在多个时间步长之上从初始时间到结束时间的前向传递和在多个时间步长之上从结束时间到初始时间的后向传递。