[发明专利]一种基于虚拟自我对局的多人非完备信息博弈策略求解方法、装置、系统及存储介质

说明书

本发明提供了一种基于虚拟自我对局的多人非完备信息博弈策略求解方法、装置、系统及存储介质，该方法包括：针对二人博弈情况，使用多类别逻辑回归和蓄水池抽样实现了平均策略的生成，使用DQN和环形缓冲记忆实现了最优反应策略的生成；针对多人博弈情况，使用多智能体近端策略优化算法MAPPO实现最优反应策略，同时使用多智能体NFSP调节智能体的训练。本发明的有益效果是：本发明引入了虚拟自我对局的算法框架，将德州扑克策略优化过程分为最优反应策略学习和平均策略学习两个部分，并分别用模仿学习和深度强化学习来实现，设计出了更为通用的多智能体最优策略学习方法。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于虚拟自我对局的多人非完备信息博弈策略求解方法、装置、系统及存储介质。

背景技术

机器博弈和人工智能都有着密不可分的联系，是体现人工智能发展的一个重要的方面。许多计算机领域著名的学者都进行过对机器博弈的相关研究：计算机之父冯.诺依曼和数学家奥曼提出了博弈中的极小极大方法。人工智能之父阿兰.图灵为开发计算机象棋程序提供了理论基础。该理论在后来被用以在ENIAC上设计世界上第一个电脑程序的西洋棋。半个多世纪以来，机器博弈领域产生的许多重大研究成果都被认为是人工智能发展的重要里程碑。目前，机器博弈的研究成果已经被广泛的用于机器人控制、对话系统、资源调度、交通信号灯控制、自动驾驶、外交谈判、金融决策等领域。

按照博弈信息完备与否，可以将博弈分为完备信息博弈和非完备信息博弈。在完备信息博弈中，局中人在进行决策的过程中可以完整、即时的获取所有与博弈决策相关的信息，很多棋类游戏博弈都属于非完备信息博弈，如：围棋，象棋，将棋。在非完备信息博弈中。局中人获取的博弈信息不完整的或滞后的，因此每个局中人都拥有对手无法获得的私有信息：如扑克游戏中的手牌，自动驾驶中的自身视野，外交谈判中对于交换筹码的认识等。

信息的不完备性对使得最优策略的求解更为复杂。迄今为止，许多更为复杂的非完备信息博弈问题如多人非零和博弈并没有求解最优解的理论方法。以围棋这种完备信息博弈的典型游戏为例，所有玩家都可以获得当前棋局的所有信息，故可以使用极小极大值算法遍历博弈树，从而找到当前最佳策略。但是对于非完备信息博弈游戏来说，博弈信息不是完全可见的。以德州扑克为例，每个人手牌对于其他局中人来说是不可见的，故博弈过程中需要智能体对对手未知信息进行推理和猜测，也可以利用对手无法获取已方的私有信息进行欺诈。这些特性使得解决非完备信息博弈难度大大增加。

现实中的很多决策问题都可以被抽象为非完备信息博弈的策略优化问题，但目前非完备信息的策略优化算法如冷扑大师，仅能解决两人的、离散动作的，状态简单的博弈问题，不能很好的应用在解决现实中的决策问题上。因此，研究多人的、支持连续动作和复杂状态的非完备信息策略优化算法具有重要的理论与现实意义。

发明内容

本发明提供了一种基于虚拟自我对局的多人非完备信息博弈策略求解方法，针对二人博弈情况，使用多类别逻辑回归和蓄水池抽样实现了平均策略的生成，使用DQN和环形缓冲记忆实现了最优反应策略的生成；针对多人博弈情况，使用多智能体近端策略优化算法MAPPO实现最优反应策略，同时使用多智能体NFSP调节智能体的训练；NFSP：神经网络虚拟自我对局，DQN：深度Q值网络。

作为本发明的进一步改进，针对二人博弈情况，智能体采取最优反应策略的记忆片段作为数据，并采用蓄水池抽样的方法训练一个全连接的浅层神经网络，浅层神经网络的输入为当前的扑克游戏局面，输出为该状态下采取各个动作的概率；且采用在线的NFSP算法，两个智能体同时的进行博弈和策略更新。

作为本发明的进一步改进，在多人博弈情况下，多智能体近端策略优化算法包括：使用中心化的优势估计，更新策略网络时，MAPPO使用裁剪的代理目标函数，在训练过程中，智能体不停地利用环境中探索得到的决策序列更新策略网络，并定时的更新目标策略网络。