[发明专利]一种序贯同步时序蒙特卡洛搜索算法

权利要求书

1.一种序贯同步时序蒙特卡洛搜索算法，所述搜索算法适用于一种搜索系统，该搜索系统包括搜索服务器、搜索入口及搜索装置，其特征在于，所述搜索算法包括以下步骤：

步骤1-1：设计一种博弈树结构，更改标准蒙特卡洛博弈树节点存储信息和连接边的意义，将标准蒙特卡洛博弈树上含有博弈各方信息的多层节点压缩到同一层，令{S₁,S₂,S₃,S₄,...}表示每次树搜索后的节点，{a₁,a₂,b₁,b₂}表示双方动作组合，使新的博弈树在每一次树搜索时都会得到每个动作执行后的转移节点，节点信息由原来存储的单方信息变为各方信息，节点间的每条连接边表示博弈各方合法动作组合，形式如：S₁→S₂∈{S_a1,S_a2,S_b1,S_b2}；

步骤1-2：在新的博弈树中每一层的节点按固定的时间周期进行划分，对于执行时间不同的动作，会出现跨时间周期进行树搜索的情况，其执行完的状态和其他动作执行完的状态处于不同时间周期内，即在不同层内，形式如：

其中动作b₂执行后的状态S_b2在其出现的周期内进行收益的计算。

2.根据权利要求1所述的搜索算法，其特征在于：步骤1-2中所述树搜索加入有时序控制部分，该部分包括以下步骤：

步骤2-1：在博弈树中加入时间轴，将时间轴按固定的时间周期T进行划分，保证博弈各方的状态都严格落在相应的固定时间周期节点上，博弈各方严格按照固定的时间节点做出决策；

步骤2-2：当某一动作需要执行多个时间周期，在其执行过程中的每个时间节点上设置虚拟节点，形成完整的序贯同步时序蒙特卡洛博弈树。

3.根据权利要求1或2所述的搜索算法，其特征在于：所述搜索算法的搜索过程至少包括选择、扩展、模拟、更新四个阶段。

4.根据权利要求3所述的搜索算法，其特征在于：

选择阶段序贯同步博弈问题在每个时间点上具有同步特性，博弈树中根据各方所选动作的组合来选择子节点，有以下三种选择方法：

A引入策略网络PolicyNet，利用网络的学习能力在线学习决策动作分布，计算节点下子节点的状态的悔恨值regret，通过判断regret的大小对博弈方的选择进行指导；

B针对中小规模(动作集合大小<＝4)的问题，在线或离线计算不同状态的均衡解，将得到的均衡解存入表中，在选择时供博弈树查询，选择出最有利的子节点；

C将A、B两种方法结合在一起，在搜索的开始时利用策略网络指导动作的选择，在博弈树已经被搜索超过一半时，再通过在线方式计算接下来状态的均衡解，利用均衡解的值对子节点的选择进行指导。

5.根据权利要求4所述的搜索算法，其特征在于，所述选择阶段节点中的信息包括己方平均悔恨值，己方动作组合，对方平均悔恨值，对方动作组合以及该节点的访问次数，还包括己方收益表和对方收益表，在收益表中，每一个元素对应博弈某一方的一个动作组合；令S∈{1,2,3,...}表示每次迭代，h表示每次迭代中的某一个节点状态，T为时间周期，令(a,b)为其动作组合，P^S(h,T)表示博弈各方当前时间周期所用的混合策略，此混合策略由进行初始化，博弈各方都为混合策略P^S(h,T)维持一个累计的悔恨值r_h[(a，b)]，其初始化为0，在每次迭代中，需要根据当前累计的收益来生成新的混合策略，定义累计收益为x⁺＝max(x，0)，公式如下：

6.根据权利要求3所述的搜索算法，其特征在于：扩展阶段根据博弈各方不同的动作组合进行展开，其中，每条边代表的是博弈各方的动作组合，在扩展的同时不断选择更加适合的动作组合，舍弃无用的动作组合，即在扩展的过程中同时对博弈树进行剪枝处理。