[发明专利]一种基于博弈残局在线解算的多人非完备信息机器博弈方法、装置、系统及存储介质

权利要求书

1.一种基于博弈残局在线解算的多人非完备信息机器博弈方法，其特征在于，包括如下步骤：

步骤1：求解当前博弈局面S的策略时，如果当前博弈局面S是一个新的下注轮次的开始，首先根据卡牌抽象算法进行实时的卡牌抽象；

步骤2：如果S 不是智能体采取动作的博弈局面，则需要更新各个玩家的策略σ，首先如果As不为空，则用上一次的策略σ，上一次的玩家手牌分布D利用贝叶斯公式更新玩家手牌分布D，其中As表示在每一个下注轮次刚开始时或者上一次智能体采取动作开始时到这一个下注轮次结束或者轮到智能体采取动作时这段期间发生的动作序列，利用CFR或者UCT算法计算并更新各个玩家的策略σ；

步骤3：等待当前博弈局面需要采取动作的玩家采取某一动作后，游戏往下进行，如果S是轮到智能体采取动作的博弈局面则同样先更新玩家手牌分布，建立子博弈树后计算当前博弈局面的策略σ，然后智能体根据σ采取一个动作a后游戏继续向下进行；

在所述步骤1中，通过实时卡牌抽象算法进行实时的卡牌抽象，实时卡牌抽象算法包括：首先离线计算手牌同构抽象以及各种手牌组合的牌力后保存，以便在实时卡牌抽象时直接使用加快计算速度；在进行实时卡牌抽象时，根据当前博弈局面在原博弈树的位置进行不同的卡牌抽象，如果当前博弈局面位于前翻牌圈则直接使用离线计算好的手牌同构抽象，此时所有的手牌组合是C(52,2) = 1326，手牌同构后为169；如果当前博弈局面位于翻牌圈、转牌圈和河牌圈，则先去掉已发出的公共牌，然后从已离线计算好的手牌牌力文件中读取所有可能的手牌组合的牌力，最后利用k-means算法进行聚类；该多人非完备信息机器博弈方法应用于德州扑克游戏中。

2.根据权利要求1所述的多人非完备信息机器博弈方法，其特征在于，在步骤2中，利用贝叶斯公式更新玩家手牌分布D的方法为：假设智能体实时计算出来的策略为σ，玩家的所有可能的手牌为, , …, ，并且根据策略σ采取动作A，则玩家采取A后的手牌的条件概率可计算如下：

P() = P() = (3-7)

其中是玩家的手牌为时采取动作A的概率，对P()进行归一化后就是玩家采取动作A后的手牌分布。

3.根据权利要求1所述的多人非完备信息机器博弈方法，其特征在于，实时计算当前博弈局面的策略时，建立的子博弈树的大小根据当前博弈局面在原博弈树所处的位置以及计算的资源来确定，如果建立的子博弈树的叶节点没有到达游戏的结束，则需要对这些中间状态的叶节点的收益值进行估计，通过蒙特卡罗树搜索、训练神经网络预测叶节点的虚拟价值对子博弈树的叶结点收益值进行估计。

4.根据权利要求1所述的多人非完备信息机器博弈方法，其特征在于，在建立子博弈树时，各个玩家的手牌根据玩家的手牌分布通过蒙特卡罗抽样确定，建立的子博弈树的叶节点只到达本下注轮次的结束节点；然后在叶节点根据各个玩家手牌的牌力大小决定胜负计算收益值作为叶节点的收益值；通过UCT算法对叶节点的收益值进行估计。

5.根据权利要求1所述的多人非完备信息机器博弈方法，其特征在于，通过ES-CFR算法来求解二人及多人非限制性德州扑克当前博弈局面的策略。

6.根据权利要求3所述的多人非完备信息机器博弈方法，其特征在于，蒙特卡罗树搜索需要加以改进才能扩展到非完备信息博弈，首先对于所有玩家的动作节点和随机节点都根据相应的策略采用蒙特卡罗抽样，其次非完备信息机器博弈树的节点都是信息集，而且相互交叉，在使用蒙特卡罗树搜索算法过程中，更新博弈树节点的数据时需要将当前节点映射到对应的信息集然后对该信息集进行数据的更新。