[发明专利]一种基于反事实遗憾最小化的虚拟自我对弈方法和装置

说明书

本发明公开了一种基于反事实遗憾最小化的虚拟自我对弈方法和装置，应用在多方智能体参与的博弈环境中，多方智能体采用相同算法生成策略，每个策略对应待优化的算法参数，决定算法输出动作的概率值；所述方法包括：每个智能体采用反事实遗憾最小化算法根据博弈环境状态生成针对全局策略的最佳回应策略；对每个智能体的历史回应策略进行平均化得到每个智能体的平均策略；按照一定比例分别对最佳回应策略和平均策略进行采样，将采样得到的环境状态、动作的概率值以及对应的回报分别存储到平均策略经验池和最佳回应策略经验池；从平均策略经验池和最佳回应经验池中采样环境状态、动作的概率值以及对应的回报更新最佳回应策略和平均策略。

技术领域

本发明属于人工智能及智能博弈对抗的技术领域，特别涉及一种基于反事实遗憾最小化的虚拟自我对弈方法和装置。

背景技术

人工智能在各种环境中的应用已经取得了瞩目的成就，如人工智能当前已经能够准确地识别部分人脸和部分语音，如公开号为CN109272990A的专利申请公开的基于卷积神经网络的语音识别方法，再如公开号为CN104346607A的专利申请公开的基于卷积神经网络的人脸识别方法。

人工智能能够有效地对环境产生反馈，甚至在部分游戏领域已经超越了人类的得分。研究高级的人工智能不仅可以将更高级的人工智能应用至更高级的生活应用，也能在决策方面辅助人类，扩充人类的决策视野，促进更优决策的产生。

尽管现在的人工智能已经在多个对抗领域战胜了人类职业选手，但是很少有人工智能可以从博弈论知识的领域来解答和优化。将博弈论结合至对抗领域的人工智能中，可以有效地对人工智能的训练过程和训练结果进行分析，对其策略进行分析和解读，增强人类对人工智能算法的理解，也加强了人工智能算法的可靠性。

在利用博弈论的研究中，典型的有反事实遗憾最小化算法。该算法是一种迭代式更新策略的算法，通过遍历博弈树，计算树中各个节点的回报值和遗憾值并使其最小化来更新策略，最终使得该策略成为纳什均衡策略。

发明内容

鉴于上述，本发明的目的是提供一种基于反事实遗憾最小化的虚拟自我对弈方法和装置，通过结合博弈论领域的反事实遗憾最小化算法和神经网络，来求解并优化多方参与的虚拟自我对弈策略，以降低计算的复杂度同时提高虚拟自我对弈策略的收敛速度和训练效率，以保证虚拟自我对弈策略的收敛性。

第一方面，实施例提供的基于反事实遗憾最小化的虚拟自我对弈方法，所述虚拟自我对弈方法应用在多方智能体参与的博弈环境中，多方智能体采用相同算法生成策略，每个策略对应待优化的算法参数，决定算法输出动作的概率值；

所述虚拟自我对弈方法包括以下步骤：

每个智能体采用遗憾最小化算法根据博弈环境状态生成针对全局策略的最佳回应策略；提取每个智能体的历史回应策略平均化后的动作的概率值得到每个智能体的平均策略；

按照一定比例分别对最佳回应策略和平均策略进行采样，将采样得到的环境状态、动作的概率值以及对应的回报分别存储到平均策略经验池和最佳回应策略经验池；

从平均策略经验池和最佳回应经验池中采样环境状态、动作的概率值以及对应的回报更新最佳回应策略和平均策略。

第二方面，实施例提供的一种基于反事实遗憾最小化的虚拟自我对弈装置，所述虚拟自我对弈装置应用在多方智能体参与的博弈环境中，多方智能体采用相同算法生成策略，每个策略对应待优化的算法参数，决定算法输出动作的概率值；包括：

最佳回应策略生成模块，用于每个智能体采用遗憾最小化算法根据博弈环境状态生成针对全局策略的最佳回应策略；

平均策略生成模块，用于提取每个智能体的历史回应策略平均化后的动作的概率值得到每个智能体的平均策略；