[发明专利]一种基于虚拟自我对局的多人非完备信息博弈策略求解方法、装置、系统及存储介质

权利要求书

1.一种基于虚拟自我对局的多人非完备信息博弈策略求解方法，其特征在于：

针对二人博弈情况，使用多类别逻辑回归和蓄水池抽样实现了平均策略的生成，使用DQN和环形缓冲记忆实现了最优反应策略的生成；

针对多人博弈情况，使用多智能体近端策略优化算法MAPPO实现最优反应策略，同时使用多智能体NFSP调节智能体的训练；

NFSP：神经网络虚拟自我对局，DQN：深度Q值网络；

针对二人博弈情况，智能体采取最优反应策略的记忆片段作为数据，并采用蓄水池抽样的方法训练一个全连接的浅层神经网络，浅层神经网络的输入为当前的扑克游戏局面，输出为该状态下采取各个动作的概率；且采用在线的NFSP算法，两个智能体同时的进行博弈和策略更新；

在多人博弈情况下，多智能体近端策略优化算法包括：使用中心化的优势估计，更新策略网络时，MAPPO使用裁剪的代理目标函数，在训练过程中，智能体不停地利用环境中探索得到的决策序列更新策略网络，并定时的更新目标策略网络；

在多人博弈情况下，多智能体NFSP包括：每次抽样动作后均在环境中执行并更新当前状态，以及在游戏结束后，对记忆库中所有智能体最后的记忆片段中的奖励值进行更新；

该多人非完备信息博弈策略求解方法应用于德州扑克游戏中。

2.一种基于虚拟自我对局的多人非完备信息博弈策略求解装置，其特征在于，包括：

二人博弈模块：使用多类别逻辑回归和蓄水池抽样实现了平均策略的生成，使用DQN和环形缓冲记忆实现了最优反应策略的生成；

多人博弈模块：使用多智能体近端策略优化算法MAPPO实现最优反应策略，同时使用多智能体NFSP调节智能体的训练；

NFSP：神经网络虚拟自我对局，DQN：深度Q值网络；

在二人博弈模块中，智能体采取最优反应策略的记忆片段作为数据，并采用蓄水池抽样的方法训练一个全连接的浅层神经网络，浅层神经网络的输入为当前的扑克游戏局面，输出为该状态下采取各个动作的概率；且采用在线的NFSP算法，两个智能体同时的进行博弈和策略更新；

在多人博弈模块中，多智能体近端策略优化算法包括：使用中心化的优势估计，更新策略网络时，MAPPO使用裁剪的代理目标函数，在训练过程中，智能体不停地利用环境中探索得到的决策序列更新策略网络，并定时的更新目标策略网络；

在多人博弈模块中，多智能体NFSP包括：每次抽样动作后均在环境中执行并更新当前状态，以及在游戏结束后，对记忆库中所有智能体最后的记忆片段中的奖励值进行更新；

该多人非完备信息博弈策略求解装置应用于德州扑克游戏中。

3.一种基于虚拟自我对局的多人非完备信息博弈策略求解系统，其特征在于，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现权利要求1所述的方法的步骤。

4.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求1所述的方法的步骤。