[发明专利]确定执行设备的动作选择方针

说明书

描述了计算机实现的用于生成促使执行设备完成任务的动作选择方针的方法、系统和装置，包括计算机可读介质。获得表示被划分为子任务序列的任务的数据。获得指定了针对所述子任务序列中的子任务的策略神经网络(SNN)的数据。SNN接收包括由达到所述子任务的初始状态的动作序列的输入，并预测所述执行设备针对所述子任务的动作选择方针。所述SNN是基于针对所述子任务序列中该子任务之后的下一个子任务的值神经网络(VNN)来训练的。确定向SNN的输入。所述输入包括达到所述子任务的子任务初始状态的动作序列。基于所述SNN的输出确定用于完成所述子任务的动作选择方针。

技术领域

本文涉及确定用于执行设备的动作选择方针，以在包括执行设备以及一个或多个其他设备的环境中完成任务。

背景技术

诸如自动驾驶车辆(AV)控制、资源分配、交通路线规划和控制、产品/服务推荐、网络攻击预测和/或预防、欺诈管理、贸易、投标以及公开拍卖之类的现实世界场景可以通过博弈中两个或更多个参与方(也称为玩家)之间的策略交互来建模、表示和模拟。例如，这些现实生活场景可以表示为涉及两个或更多个玩家的不完美信息博弈(ImperfectInformation Game，IIG)，其中玩家在做出决策之前只能部分获得其对手的知识。由于信息隐藏，玩家必须在对对手的信息不确定的情况下做出决策，并且其还需要采取行动以利用对手对自己的信息不确定的优势。

在某些情况下，用于求解现实生活场景中存在的IIG问题的计算机模拟可以帮助找到针对现实生活场景的有用解决方案。特别是对于具有表示了涉及不同环境条件和决策的复杂现实生活场景的大量待选择的可能状态和可能行动的大型博弈而言，求解IIG可能会耗费大量计算资源和时间。例如，大型或超大型(very-large-scale，VLS)IIG可以表示涉及复杂地理区域中的大量车辆以及例如车辆方向和速度的各种控制动作的复杂自动驾驶车辆场景，该复杂地理区域具有不同的道路、天气和交通状况。对于大型IIG而言，找到最优解可能需要大量的计算资源，包括计算时间、处理能力和存储空间。期望以有效的方式求解大型或超大型IIG的技术，尤其是对于实时应用。

发明内容

主题的所述实施例可以单独地或以组合的形式包括一个或多个特征。

例如，在一个实施例中，一种计算机实现的用于生成促使执行设备在包括执行设备以及一个或多个其他设备的环境中完成任务的动作选择方针的方法，所述方法包括：获得表示被划分为子任务序列的任务的数据，其中，所述任务包括任务初始状态、多个非任务终点状态和多个任务终点状态，其中，每个任务终点状态是由所述执行设备以及所述一个或多个其他设备在所述多个非任务终点状态的子集下采取的动作序列导致的，并且所述多个任务终点状态具有所述任务终点状态下的对应奖励，所述子任务序列中的每个子任务包括该子任务的一个或多个子任务初始状态及多个子任务终点状态，除了所述子任务序列中的最后一个子任务外，所述子任务的所述多个子任务终点状态是所述子任务序列中在该子任务之后的下一个子任务的多个子任务初始状态；获得指定了针对所述子任务序列中的指定子任务的策略神经网络(SNN)的数据，其中，针对所述指定子任务的SNN接收包括由达到所述指定子任务的子任务初始状态的所述执行设备以及所述一个或多个其他设备采取的动作序列的输入，并预测所述执行设备针对所述指定子任务的动作选择方针，针对所述指定子任务的SNN是基于针对所述子任务序列中该子任务之后的下一个子任务的值神经网络(VNN)来训练的，针对所述指定子任务的VNN接收包括所述执行设备以及所述一个或多个其他设备达到所述下一个子任务的子任务初始状态的达到概率的输入，并预测执行设备在所述下一个子任务的子任务初始状态下的奖励；确定向针对所述指定子任务的SNN的指定输入，其中，所述输入包括由达到所述指定子任务的子任务初始状态的所述执行设备以及所述一个或多个其他设备采取的指定动作序列；以及利用向针对所述指定子任务的SNN的所述指定输入，基于针对所述指定子任务的SNN的输出来确定用于完成所述指定子任务的动作选择方针。

在一些实施例中，可以使用系统、方法或计算机程序或者系统、方法和计算机程序的任何组合来实现这些一般和特定方面。以上和其他所述实施例可各自可选地包括一个或多个以下方面：