[发明专利]一种基于博弈残局在线解算的多人非完备信息机器博弈方法、装置、系统及存储介质

说明书

本发明提供了一种基于博弈残局在线解算的多人非完备信息机器博弈方法、装置、系统及存储介质，该多人非完备信息机器博弈方法包括：步骤1：首先根据卡牌抽象算法进行实时的卡牌抽象；步骤2：如果S不是智能体采取动作的博弈局面，则需要更新各个玩家的策略σ；步骤3：等待当前博弈局面需要采取动作的玩家采取某一动作后，游戏往下进行，如果S是轮到智能体采取动作的博弈局面则同样先更新玩家手牌分布，建立子博弈树后计算当前博弈局面的策略σ，然后智能体根据σ采取一个动作a后游戏继续向下进行。本发明的有益效果是：本发明相比之前的算法灵活性适用性更强，适用于现实世界的博弈场景，可以根据针对不同的现实博弈局面计算相应的策略。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于博弈残局在线解算的多人非完备信息机器博弈方法、装置、系统及存储介质。

背景技术

机器博弈在人工智能的研究中占有重要的地位，从它诞生起就一直作为验证人工智能理论的试金石。机器博弈相关理论和技术被广泛应用于解决许多现实问题，例如金融博弈、交通疏导管制、机场和网络安全等(应用领域)。机器博弈是博弈论和计算机科学相互交叉融合发展起来的研究领域，机器博弈按照博弈状态的所有信息对于博弈各方是否可见可以分为完备信息机器博弈和非完备信息机器博弈。

与完备信息博弈相比，现实经济社会中的博弈问题更多的是非完备信息博弈问题，非完备信息机器博弈的应用场景更加广阔，因此非完备信息机器博弈的研究受到越来越多的关注。德州扑克是十分典型的大型非完备信息博弈，它拥有非完备信息博弈的所有特性，而且德州扑克需要更多的技能，并且受到运气的影响比其他扑克类型少，一直被当作研究非完备信息机器博弈的一个重要平台，一般根据博弈人数和下注动作有无限制对其进行区分。根据博弈人数不同，德州扑克可分为二人德州扑克和多人德州扑克；根据下注动作有无限制可以分为限制性和非限制德州扑克。

目前，二人德州扑克机器博弈的研究取得了不少的突破：2015年阿尔伯塔大学Bowling团队提出了基于状态抽象和虚拟遗憾最小化算法求解近似纳什均衡的算法，解决了二人限制性德州扑克的博弈问题；2016年阿尔伯塔大学提出DeepStack算法并研制了二人非限制性德州扑克智能体击败了德州扑克的职业玩家；2017年卡内基梅隆大学研制了Libratus在二人非限制性德州扑克击败了人类的顶尖职业玩家。但是现实生活中涉及到的更多的是多人非完备信息机器博弈，但在多人非限制德州扑克领域，相关的研究还处于起步阶段，仍是一项富有挑战性的任务。多人非限制性德州扑克不同于二人德州扑克的两个主要特性：第一，博弈状态空间随着玩家人数的增多呈指数性增长；第二，纳什均衡解已不再是多人非限制性德州扑克的最优解，目前对于多人非限制性德州扑克的最优解还没有确切的定义。因此不能直接将求解二人非限制性德州扑克策略的方法扩展到多人的情况。

发明内容

本发明提供了一种基于博弈残局在线解算的多人非完备信息机器博弈方法，包括如下步骤：

步骤1：求解当前博弈局面S的策略时，如果当前博弈局面S是一个新的下注轮次的开始，首先根据卡牌抽象算法进行实时的卡牌抽象；

步骤2：如果S不是智能体采取动作的博弈局面，则需要更新各个玩家的策略σ，首先如果As不为空，则用上一次的策略σ，上一次的玩家手牌分布D利用贝叶斯公式更新玩家手牌分布D，其中As表示在每一个下注轮次刚开始时或者上一次智能体采取动作开始时到这一个下注轮次结束或者轮到智能体采取动作时这段期间发生的动作序列，利用CFR或者UCT算法计算并更新各个玩家的策略σ；

步骤3：等待当前博弈局面需要采取动作的玩家采取某一动作后，游戏往下进行，如果S是轮到智能体采取动作的博弈局面则同样先更新玩家手牌分布，建立子博弈树后计算当前博弈局面的策略σ，然后智能体根据σ采取一个动作a后游戏继续向下进行。