[发明专利]一种围棋上的搜索博弈树的策略改进方法

说明书

本发明涉及一种围棋上的搜索博弈树的策略改进方法，以当前状态为根节点建立搜索树；选择根节点的一个孩子节点进行模拟，如有孩子节点还没有被模拟过，则从根节点的孩子节点里面随机选择一个孩子进行模拟；如所有孩子节点都被模拟过至少一次，则选择UCB分树最高的孩子节点；从选中的孩子节点开始模拟一直到叶子节点结束；模拟策略结合均匀采样和极小极大策略；将模拟最后的结果反向传播到根节点，路径上所有叶子的动作价值函数Q值和N值被更新；重复上述步骤多次，最后选择UCB中利用项分数最高的节点。本发明将改进算法应用在围棋的搜索策略中，通过了GNUGo，CGOS的评测，最后的实验结果表明该算法能提高围棋中博弈搜索的精准度。

技术领域

本发明涉及一种围棋上的搜索博弈树的策略改进，具体为一种在围棋上的搜索博弈树的策略改进方法。

背景技术

蒙特卡罗方法在数值算法中有着悠久的历史，在各种人工智能游戏算法中也取得了显著的成功，尤其是在不完全信息的游戏中，如拼字游戏和桥牌游戏。然而，它真正在计算机上的成功，是通过蒙特卡罗方法在树的建立过程中的递归应用，这是MCTS的主要研究内容。围棋是人类玩家远远领先于电脑玩家的少数经典游戏之一，MCTS在缩小这一差距方面发挥了巨大的作用，现在它在小型棋盘上与最优秀的人类棋手竞争，尽管MCT在标准的19×19棋盘上远远低于他们的水平。围棋对计算机来说是一个很难玩的游戏：它有一个很高的分枝因子，一个很深的树，而且对于非终端板位置，它缺乏任何已知的可靠的启发式值函数。

蒙特卡罗树搜索(MCTS)是近年来提出的一种将树搜索的精度与随机抽样的一般性相结合的搜索方法。由于在计算机围棋这一难题上取得了惊人的成功，它引起了人们相当大的兴趣，但也被证明在其他领域也有益处。在过去的几年里，MCTS在许多特定游戏、一般游戏和复杂的现实世界规划、优化和控制问题上也取得了巨大的成功，并有望成为人工智能研究人员工具箱的重要组成部分。它可以为一个agent提供一些决策能力，而只需要很少的领域特定知识，它的选择性抽样方法可以为其他算法的混合和潜在改进提供一些见解。在接下来的十年里，人们期望看到MCTS成为越来越多研究者的焦点，并将其作为解决各种领域中大量问题的一部分而被采用。

极小极大搜索法MiniMax试图最小化对手在每个状态下的最大回报，是两人组合游戏的传统搜索方法。搜索通常会过早停止，并使用一个值函数来估计博弈结果，而α-β启发式搜索通常用于修剪树。尽管极小极大搜索法和其它一些减枝算法可以有效改进搜索效率，但是这些方法在像围棋这样有比较深的搜索树上来说还是不够的，搜索时间没有降低到令人满意的结果。

发明内容

针对现有技术存在的上述不足，本申请提供一种可以让算法更快收敛到真实的Q值、增加博弈胜率的在围棋上的搜索博弈树的策略改进方法。

为解决上述技术问题，本发明采用的技术方案是：

本发明提供一种围棋上的搜索博弈树的策略改进方法，包括以下步骤：

1)以当前状态为根节点建立搜索树，树建立完成，其它所有节点隐式给出；

2)选择根节点的一个孩子节点进行模拟，如果有孩子节点还没有被模拟过，那么从根节点的孩子节点里面随机选择一个孩子进行模拟；如果所有孩子节点都被模拟过至少一次，那么选择UCB分树最高的孩子节点；

3)从选中的孩子节点开始模拟一直到叶子节点结束；模拟策略结合均匀采样和极小极大策略；

4)将模拟最后的结果反向传播到根节点，路径上所有叶子的动作价值函数Q值和N值被更新；

5)重复步骤1)～4)多次，最后选择的结果为UCB中利用项分数最高的节点。

步骤2)中选择UCB分数最高的孩子节点是计算UCB并返回的孩子伪代码，具体如下：