[发明专利]一种最大熵部分可观测蒙特卡洛规划方法

权利要求书

1.一种最大熵部分可观测蒙特卡洛规划方法，其特征在于，包括如下步骤：

步骤S101：开始一个序贯决策过程，到达过程中的一个待决策历史结点；

步骤S201：从该历史结点开始进行n次模拟；

步骤S301：选择待决策历史结点上价值估计最高的动作作为决策；

步骤S401：环境接收动作后转移到新的历史结点，若过程未终止则跳转到步骤S201。

2.根据权利要求1所述的一种最大熵部分可观测蒙特卡洛规划方法，其特征在于，所述步骤S201包括：

子步骤S201a：将待决策历史结点h_t作为根结点；

子步骤S201b：采样一个可能状态s_t；

子步骤S201c：从根结点h_t开始持续按E2W策略选择动作，直到转移到不在树中的新结点h_L；

子步骤S201d：将新结点h_L添加到树中，并初始化h_L和h_L出发的所有动作结点

子步骤S201e：估计结点h_L价值；

子步骤S201f：更新树中所经过轨迹中的所有结点；

子步骤S201g：已完成模拟次数+1，若次数未达到终止条件则跳转到步骤S201b。

3.根据权利要求2所述的一种最大熵部分可观测蒙特卡洛规划方法，其特征在于，所述E2W策略的表达式为：

其中，π(a|h_k)表示时间步k在历史结点h_k上使用的策略，即在历史结点h_k上选择动作a的概率分布；表示衰减参数，表达式为：

∈表示探索常数；N(h，a)表示结点(h，a)的被访问次数；

f_τ(Q_sft)表示softmax策略，表达式为：

f_τ(Q_sft)＝exp{(Q_sft-τlog∑_aexp{Q_sft/τ})/τ}；

τ表示另一个探索常数；

Q_sft(h)表示一个历史结点h上所有可行动作a的价值估计值Q_sft(h，a)组成的向量；U_|A表示在|A|个动作上等概率随机选择的均匀策略；|A|表示可选动作的个数。

4.根据权利要求2所述的一种最大熵部分可观测蒙特卡洛规划方法，其特征在于，初始化新结点h_L结点的表达式为：

其中，N(h_L)表示结点h_L的被访问次数；B(h_L)表示结点h_L的置信状态粒子集合。

5.根据权利要求2所述的一种最大熵部分可观测蒙特卡洛规划方法，其特征在于，所述初始化结点的表达式为：

{N(h_L，a)，Q_sft(h_L，a)}＝{0，0}

其中，N(h_L，a)表示结点(h_L，a)的被访问次数；Q_sft(h_L，a)表示结点(h_L，a)的价值估计值。

6.根据权利要求2所述的一种最大熵部分可观测蒙特卡洛规划方法，其特征在于，所述对轨迹中的结点进行更新的表达式为：

N(h_k)＝N(h_k)+1，for t≤k≤L

B(h_k)＝B(h_k)∪{s_k}，for t＜k≤L

N(h_k，a_k)＝N(h_k，a_k)+1，for t≤k≤L

其中，h_k表示时间步k的历史结点；s_k表示时间步k的状态；a_k表示时间步k的动作；t表示根节点的时间步；L表示刚添加的新结点的时间步；表示价值估计的中间计算过程；r_k+1表示时间步k+1的即时收益；R表示步骤S201e中对结点h_L的价值估计值；表示softmax价值，表达式为τ表示探索常数；Q_sft(h)表示一个历史结点h上所有可行动作a的价值估计值Q_sft(h，a)组成的向量。