[发明专利]一种基于多智能体的实时战略游戏对局方法

说明书

本发明提供一种基于多智能体的实时战略游戏对局方法，包括：AERUCT搜索算法：根据当前的血量和胜率自适应的调整探索比，进行前向搜索，根据当前状态计算搜索方向的评估值，根据所述搜索方向的评估值来选择下一步搜索方向；所述AERUCT搜索算法为改进的UCT搜索算法；AERUCT搜索算法在小规模游戏场景中性能会有所提升，但由于大规模游戏场景搜索决策的节点数增多且受时间限制，UCTRL算法通过存储更新性能好的策略与AERUCT搜索的结果比较，评估选择胜率大的子节点，反向更新状态信息，如此反复，保证当前策略不差于之前的策略，使每个智能体更智能，提高学习能力。

技术领域

本申请涉及强化学习、人机对抗、多智能体游戏领域，尤其涉及一种基于多智能体的实时战略游戏对局方法。

背景技术

实时战略（RTS）游戏不是回合制游戏，而是视频游戏。玩家管理资源，建立不同类型的结构，并指导他们如何对抗对手。目前的研究主要集中在微操、游戏策略和最优路径等方面。当智能体的数量和双方的攻击能力相同时，游戏策略尤为重要。因此，研究人员对多智能体游戏策略做了大量研究。

基于脚本和搜索树算法常用于实时战略游戏中，经典的基于脚本的策略算法在一轮游戏中使用一种策略，例如攻击最近的敌人或首先攻击最弱的敌人等。PGS算法通过评估多个脚本来选择最佳动作。基于脚本的策略算法可以快速做出决策，适用于有多个智能体的游戏场景。但是，它无法根据实时场景的变化更新策略。在这种情况下，一旦敌人知道你的脚本算法，你就无法获胜。随着搜索深度的加深，搜索树算法得到了更好的策略，例如MCTS、Alpha-Beta和UCT算法。MCTS算法指定搜索树深度并遍历所有可能的子节点以选择最佳子节点。Alpha-beta算法剪枝不太可能具有最佳结果的子节点，这提高了搜索效率。但是，只有在搜索完成后才能获得最佳值。UCT算法是UCB和MCTS算法的结合。与超大规模游戏过程中的传统搜索算法相比，它在时间和空间上具有优势。基于搜索树算法的游戏策略通常根据实时场景做出更好的决策。但是当代理的数量增加时，搜索深度将变得更浅，并且所获得的搜索决策将是退化的。

申请公布号CN 111111220 A涉及一种多人对战游戏的自对弈模型训练方法、装置、计算机设备和存储介质。所述方法包括：获取历史对战视频数据；从历史对战视频数据的对战视频帧中各状态特征区域获得训练对战状态特征，并从对战视频帧中各对战操作区域获得训练对战状态特征相应的操作标签；基于训练对战状态特征和操作标签进行训练，得到对战策略模型；通过对战策略模型，基于对战中的对战状态特征预测操作以进行对战；获取对战中的对战状态特征和相应预测的操作价值标签；基于对战状态特征和操作价值标签训练对战操作价值模型；根据对战策略模型和对战操作价值模型构建自对弈模型并训练。采用本方法能够提高自对弈模型的训练效率。

申请公布号CN 111437608 A提供了一种基于人工智能的游戏对局方法、装置、设备及存储介质；所述方法包括：响应于接收到的加入游戏对局的操作指令，获取在所述游戏对局中所有参与者的游戏对局数据流；通过训练好的神经网络模型对所述游戏对局数据流进行预测操作，得到预测结果，其中，所述训练好的神经网络模型至少包括自注意力编码模块；基于所述预测结果确定目标游戏策略；将所述目标游戏策略发送至服务器。如此，能够提高游戏策略的准确性。

发明内容

有鉴于此，第一方面，本发明提供一种基于多智能体的实时战略游戏对局方法，包括：

AERUCT搜索算法：根据当前的血量自适应的调整探索比，进行前向搜索，根据当前的节点的价值、遍历次数和所述探索比计算搜索方向的评估值，，所述评估值为AERUCT搜索算法计算得到的获胜概率值，根据所述搜索方向的评估值来选择下一步搜索方向。

优选地，所述AERUCT搜索算法为改进的UCT搜索算法，具体包括：

(1) 所述前向搜索从根节点开始，为每个非叶子节点选择子节点；

(2) 根据当前的血量计算探索比；