[发明专利]确定执行设备的动作选择方针

权利要求书

1.一种执行设备的计算机实现方法，用于生成动作选择方针，以在包括所述执行设备以及一个或多个其他设备的环境中完成任务，所述方法包括：

在多次迭代中的当前迭代，

获得所述当前迭代中当前状态的动作选择方针，其中，所述动作选择方针指定了从所述当前状态下的多个可能动作中选择动作的对应概率，其中，所述当前状态是由所述执行设备在前一状态下采取的前一动作导致的，并且当所述执行设备在所述当前状态下时，所述多个可能动作中的每个动作如果被所述执行设备所执行，将导致下一对应状态；

获得所述当前状态下的每个动作的对应第一奖励，其中，每个动作的对应第一奖励表示所述动作带来的有助于完成所述任务的收益；

基于所述动作各自的第一奖励以及所述当前迭代中所述当前状态的动作选择方针，计算所述当前状态的第一奖励，其中，所述当前状态的第一奖励表示所述当前状态带来的有助于完成所述任务的收益；

基于前一次迭代中每个动作的对应累计遗憾值，以及该动作的对应第一奖励与所述当前状态的第一奖励之差，计算所述当前迭代中所述当前状态下的所述多个可能动作中的每个动作的对应累计遗憾值；

基于所述当前迭代中所述当前状态下的每个动作的对应累计遗憾值，计算所述下一次迭代中所述当前状态的动作选择方针；

基于所述动作各自的第一奖励和所述下一次迭代中所述当前状态的动作选择方针计算所述当前状态的第二奖励；

基于所述当前状态的第二奖励确定所述下一次迭代中所述前一状态的动作选择方针；以及

响应于确定满足收敛条件，基于所述下一次迭代中所述前一状态的动作选择方针控制所述执行设备的动作。

2.根据权利要求1所述的方法，其中，获得所述当前状态下的每个动作的对应第一奖励，包括：通过基于前一次迭代中所述当前状态的动作选择方针遍历表示所述环境的博弈树，获得所述当前状态下的每个动作的对应第一奖励。

3.根据前述任一权利要求所述的方法，其中，基于所述动作各自的第一奖励以及所述当前迭代中所述当前状态的动作选择方针，计算所述当前状态的第一奖励，包括：基于经所述当前迭代中在所述当前状态下选择动作的对应概率所加权的所述动作各自的第一奖励之和，计算所述当前状态的第一奖励。

4.根据前述任一权利要求所述的方法，其中，基于所述动作各自的第一奖励和所述下一次迭代中所述当前状态的动作选择方针计算所述当前状态的第二奖励，包括：基于经所述下一次迭代中在所述当前状态下选择动作的对应概率所加权的所述动作各自的第一奖励之和，计算所述当前状态的第二奖励。

5.根据前述任一权利要求所述的方法，还包括：将导致所述当前状态的在所述前一状态下的所述前一动作的第一奖励替换为所述当前状态的第二奖励。

6.根据前述任一权利要求所述的方法，其中，基于所述当前状态的第二奖励确定所述下一次迭代中所述前一状态的动作选择方针，包括：基于所述当前状态的第二奖励，计算所述下一次迭代中从所述前一状态下的所述多个可能动作中选择所述前一动作的概率。

7.根据前述任一权利要求所述的方法，还包括：

响应于确定满足收敛条件，基于所述下一次迭代中所述前一状态的动作选择方针，计算所有迭代的平均动作选择方针；以及

其中，基于所述下一次迭代中所述前一状态的动作选择方针控制所述执行设备的动作，包括根据所述平均动作选择方针控制所述执行设备的动作。

8.根据前述任一权利要求所述的方法，其中：

所述环境包括交通路线规划环境，

受应用支持的所述执行设备包括计算机辅助车辆，

所述动作选择方针包括用于控制所述计算机辅助车辆的方向的路线选择方针，以及

根据动作选择方针控制执行设备的动作包括根据所述路线选择方针控制计算机辅助车辆的方向。