[发明专利]一种基于强化学习的爱恩斯坦棋博弈算法

说明书

本发明公开了一种爱恩斯坦棋中基于深度强化学习的自学习博弈算法，将BP神经网络运用到棋盘的价值评估方法以及在蒙特卡洛树搜索算法的动作选择策略中，借助强化学习方法自对弈学习规则，对棋盘的特征进行学习并逐渐调整网络参数，使得BP神经网络对于棋盘的价值评估以及下棋动作的策略计算逐渐准确，从而使整个博弈算法的性能逐渐提升。本发明将两个BP神经网络分别作为爱恩斯坦棋的价值估值函数和行为策略函数，将强化学习算法作为调整BP神经网络参数的进化机制，解决了目前爱恩斯坦棋训练集的水平受到人类水平限制的缺陷，提高了爱恩斯坦棋博弈水平的上限。

技术领域

本发明属于棋类游戏机器博弈的研究领域，特别涉及一种基于强化学习的爱恩斯坦棋博弈算法。

背景技术

人工神经网络(Artificial Neural Network，即ANN)，是20世纪80年代以来人工智能领域兴起的研究热点。神经网络是一种运算模型，由大量的节点(或称神经元)之间交互联接构成。每个节点表示一种特殊的处理函数，称为激活函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重(weight)，这相当于人工神经网络的学习经验。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。

强化学习(reinforcement learning)是一种重要的机器学习方法，在智能控制机器人及分析预测等领域有许多应用。强化学习是智能体(Agent)以“试错”、“反思”的方式进行学习，通过与环境进行交互获得的奖赏指导行为，目标是使智能体获得最大的奖赏。强化学习不同于连接主义学习中的监督学习，主要表现在学习信号上。强化学习中由环境提供的强化信号是已产生动作的好坏作为一种评价(通常为标量信号)，而不是指示强化学习系统RLS(reinforcement learning system)如何去产生正确的动作。由于外部环境提供的信息很少，RLS必须通过与环境的多次交互进行学习。通过这种方式，RLS在行动-评价的环境中获得知识，改进行动方案以适应环境。

提升博弈系统的智能水平的基本思路是提高估值精度和提升搜索效率。在搜索方面，博弈树搜索(Monte-Carlo Tree Search，简称MCTS)算法可以较好地解决博弈游戏中随机性强的问题。MCTS算法是利用搜索结果自引导搜索方向的统计方法，有选择地建立一棵树，这棵树会往价值更大的方向生长。

爱恩斯坦棋博弈规则如下：

1.棋盘为5×5的方格形棋盘，方格为棋位，左上角为红方出发区；右下角为蓝方出发区，如图1所示；

2.红蓝方各有6枚方块形棋子，分别标有数字1—6。开局时双方棋子在出发区的棋位可以随意摆放；

3.双方轮流掷骰子，然后走动与骰子显示数字相对应的棋子。如果相对应的棋子已从棋盘上移出，便可走动大于或小于此数字的并与此数字最接近的棋子；

4.红方棋子走动方向为向右、向下、向右下，每次走动一格；蓝方棋子走动方向为向左、向上、向左上，每次走动一格；

5.如果在棋子走动的目标棋位上有棋子，则要将该棋子从棋盘上移出(吃掉)。有时吃掉本方棋子也是一种策略，因为可以增加其它棋子走动的机会与灵活性；

6.率先到达对方出发区角点或将对方棋子全部吃掉的一方获胜；

7.对弈结果只有胜负，没有和棋。

8.每盘每方用时3分钟，超时判负；每轮双方对阵最多7盘，轮流先手(甲方一四五盘先手，乙方二三六七盘先手)，两盘中间不休息，先胜4盘为胜方。