[发明专利]确定执行设备的动作选择方针

权利要求书

1.一种计算机实现的方法，用于生成动作选择方针，以促使执行设备在包括所述执行设备以及一个或多个其他设备的环境中完成任务，所述方法包括：

获得表示被划分为子任务序列的任务的数据，其中：

所述任务包括任务初始状态、多个非任务终点状态和多个任务终点状态，其中，每个任务终点状态是由所述执行设备以及所述一个或多个其他设备在所述多个非任务终点状态的子集下采取的动作序列导致的，并且所述多个任务终点状态具有所述任务终点状态下的对应奖励，

所述子任务序列中的每个子任务包括所述子任务的一个或多个子任务初始状态及多个子任务终点状态，并且

除了所述子任务序列中的最后一个子任务外，所述子任务的所述多个子任务终点状态是所述子任务序列中在所述子任务之后的下一个子任务的多个子任务初始状态，

获得指定了针对所述子任务序列中的指定子任务的策略神经网络SNN的数据，其中，针对所述指定子任务的SNN接收包括由达到所述指定子任务的子任务初始状态的所述执行设备以及所述一个或多个其他设备采取的动作序列的输入，并预测所述执行设备针对所述指定子任务的动作选择方针，针对所述指定子任务的SNN是基于针对所述子任务序列中该子任务之后的下一个子任务的值神经网络VNN来训练的，针对所述指定子任务的VNN接收包括所述执行设备以及所述一个或多个其他设备达到所述下一个子任务的子任务初始状态的达到概率的输入，并预测所述执行设备在所述下一个子任务的子任务初始状态下的奖励；

确定向针对所述指定子任务的SNN的指定输入，其中，所述输入包括由达到所述指定子任务的子任务初始状态的所述执行设备以及所述一个或多个其他设备采取的指定动作序列；以及

利用向针对所述指定子任务的SNN的所述指定输入，基于针对所述指定子任务的SNN的输出来确定用于完成所述指定子任务的动作选择方针。

2.如权利要求1所述的方法，还包括：根据用于完成所述指定子任务的动作选择方针，控制所述执行设备在所述指定子任务中的操作。

3.如前述任一项权利要求所述的方法，其中，所述指定子任务的复杂度超过阈值。

4.如前述任一项权利要求所述的方法，还包括：

确定所述子任务序列中复杂度低于阈值的另一子任务；以及

通过对所述另一子任务执行表格式CFR算法，确定用于完成所述另一子任务的另一动作选择方针。

5.如前述任一项权利要求所述的方法，还包括：

获得针对所述子任务序列中复杂度超过阈值的另一子任务的另一SNN，其中，该另一子任务位于所述子任务序列中的所述指定子任务之后，并且针对该另一子任务的另一SNN是独立于针对所述指定子任务的SNN训练的；以及

通过将由从所述任务初始状态达到该另一子任务的初始状态的所述执行设备以及所述一个或多个其他设备采取的另一动作序列输入到针对该另一子任务的另一SSN中，确定用于完成该另一子任务的另一动作选择方针，其中，所述另一动作序列包括所述动作序列。

6.如前述任一项权利要求所述的方法，还包括：

通过根据从包括所述初始状态的第一子任务到包括所述多个任务终点状态的最后一个子任务的所述子任务序列的顺序，来确定针对每一个子任务的对应动作选择方针，从而确定用于完成所述任务的总体动作选择方针。

7.如前述任一项权利要求所述的方法，其中，针对所述指定子任务的SNN是通过以下方式基于针对所述下一个子任务的VNN来训练的：

基于针对所述下一个子任务的VNN，预测所述指定子任务的所述多个子任务终点状态下的多个奖励；以及

根据基于神经网络的CFR算法，基于所述指定子任务的所述多个子任务终点状态下的所述多个奖励来训练针对所述指定子任务的SNN。