[发明专利]一种新型序贯同步博弈的单树蒙特卡洛搜索方法

说明书

本发明提供一种新型序贯同步博弈的单树蒙特卡洛搜索方法，具体过程包括：步骤1：构建单博弈树结构：每一层的所有节点均对应同一个执行方且每个节点表示当前局面的博弈状态；除第一层外的奇数层为状态转移层，偶数层为状态传递层；步骤2：在同一博弈状态下，参与博弈的两个执行方依次进行选择过程和扩展过程；其中，具体步骤为博弈一方进行选择和扩展，然后博弈另一方进行选择和扩展，在迭代搜索过程中，当参与博弈的双方均作出一次动作选择后，才进行状态转移；步骤3：估值阶段；步骤4：更新阶段：步骤5：迭代进行步骤2至步骤4，直至完成设定的搜索时间或者迭代次数。本发明解决了现有双树结构方法存在博弈树节点信息同步的的问题。

技术领域

本发明涉及机器博弈技术领域，具体而言，尤其涉及一种新型序贯同步博弈的单树蒙特卡洛搜索方法。

背景技术

蒙特卡洛方法，也称统计模拟方法、随机抽样技术，是基于“随机数”、以概率统计理论为基础的一种非常重要已经被广泛应用的数值计算方法。二十世纪七十年代，蒙特卡洛方法的理论研究达到顶峰，从最开始的核研究到目前，美国的理论和实践发展均领先于其他国家，处于世界较高水平，伴随着信息技术的发展，其他国家也先后开始了蒙特卡洛的研究程序。近些年，国内外众多单位和高校大量使用蒙特卡洛程序，开启蒙特卡洛方法研究，大力推动了国内蒙特卡洛方法和软件的发展，在处理各大学科的实际问题研究中，获得了巨大的成效和理论知识。

蒙特卡洛树搜索的算法框架可以在没有任何关于博弈游戏除基本规则外的知识的情况下进行有效工作，意味着一个简单的蒙特卡洛树搜索实现可以重用在很多的博弈游戏中，只需要进行微小的调整。另外，蒙特卡洛树搜索执行一种非对称的树的适应搜索空间拓扑结构的增长，这个算法会更频繁地访问更加有趣的节点，并聚焦其搜索时间在更加相关的树的部分，这使得蒙特卡洛树搜索更加适合那些有着更大的分支因子的博弈。但很多模拟问题属于静态博弈问题，即博弈双方同时决策，而一般的蒙特卡洛方法是基于博弈双方交替决策来进行搜索的，所以需要在标准蒙特卡洛树搜索的基础上做一些必要的改进，来适应双方同时决策的模拟问题。

发明内容

根据上述提出现有双树结构方法存在博弈树节点信息同步的技术问题，而提供一种新型序贯同步博弈的单树蒙特卡洛搜索方法。本发明通过更改标准蒙特卡洛博弈树的结构，加入时间轴进行时序控制，实现了对序贯同步决策问题的良好建模；并且在搜索过程方面，通过多种计算纳什均衡的方法，通过主要改进蒙特卡洛树搜索算法流程中选择步骤，使搜索更加贴近序贯同步决策博弈问题的同步特点。

本发明采用的技术手段如下：

一种新型序贯同步博弈的单树蒙特卡洛搜索方法，具体过程包括：

步骤1：根据当前博弈状态，针对参与博弈的两个执行方构建单博弈树结构；

在单博弈树结构中，每一层的所有节点均对应同一个执行方且每个节点表示当前局面的博弈状态，对应的节点在单博弈树结构的各层交替出现，每一条边表示一个合法动作，每一条边均连接一子节点；

单博弈树结构的第一层为根节点，除第一层外的奇数层为状态转移层，偶数层为状态传递层；状态传递层表示在该层中，节点的状态与其父节点的状态保持一致；状态转移层表示在该层中，节点的博弈状态是根据已选择的组合动作进行状态转移后得到的博弈状态；

位于状态转移层的节点，存储了本身的博弈状态信息以及下一状态传递层和下一转移传递层的搜索收益信息；位于状态传递层的节点，其博弈状态信息和搜索信息与父节点保持一致；节点的博弈状态信息主要包括能够描述当前整个博弈局面的关键信息；节点的搜索收益信息主要包括能够反应当前局面收益的关键信息；

步骤2：在同一博弈状态下，参与博弈的两个执行方依次进行选择过程和扩展过程；

其中，具体步骤为博弈一方进行选择和扩展，然后博弈另一方进行选择和扩展，在上述过程中，没有进行状态转移，在迭代搜索过程中，当参与博弈的双方均作出一次动作选择后，才进行状态转移；