[发明专利]一种游戏中智能体的训练及控制方法

说明书

本发明提供了一种游戏中智能体的训练及控制方法；其中，该方法包括：动作输出模型包括主网络以及多个子网络；一部分子网络对应虚拟角色的友方角色，其他子网络对应虚拟角色的敌方角色；通过主网络输出与智能体或游戏环境相关的第一动作预测结果；通过子网络输出与智能体的友方角色或敌方角色相关的第二动作预测结果；基于第一动作预测结果和第二动作预测结果，确定智能体的执行动作。该方式中，将子网络进行了角色的划分，从而可以使子网络仅学习对应角色相关的动作，提高了子网络的输入特征与输出结果之间的相关性，因而该模型输出的动作可以提高智能体在游戏中的战斗表现，且无需复杂的网络结合和网络参数，具有较高的实用性。

技术领域

本发明涉及人工智能技术领域，尤其是涉及一种游戏中智能体的训练及控制方法。

背景技术

在MMORPG(Massive Multiplayer Online Role-PlayingGame，大型多人在线角色扮演游戏)游戏中，多人竞技玩法能够充分展现不同职业间的配合，通过玩家协作共同赢得团队胜利。针对MMORPG游戏中的多人竞技场景训练的智能体，可以作为虚拟玩家提供玩家账户的托管服务，也能延伸出人机对战等玩法。相关技术中具有多种针对智能体的训练方式，但训练得到的智能体在游戏中的表现较差，为了提高智能体的战斗表现，往往需要设置复杂的网络结构和繁多的网络参数，导致网络训练缓慢难以收敛，且对资源要求较高，难以实际应用于游戏项目中。

发明内容

有鉴于此，本发明的目的在于提供一种游戏中智能体的训练及控制方法，以提高智能体对应的智能体在游戏中的战斗表现，且无需复杂的网络结合和较多的网络参数，可以实际应用于游戏项目中。

第一方面，本发明实施例提供了一种游戏中智能体的控制方法，方法包括：将游戏状态信息输入至预先训练完成的动作输出模型中；其中，动作输出模型包括主网络以及多个子网络；多个子网络中包含第一子网络集合和第二子网络集合，第一子网络集合对应智能体的友方角色，第二子网络集合对应智能体的敌方角色；通过主网络输出与智能体或游戏环境相关的第一动作预测结果；通过子网络输出与智能体的友方角色或敌方角色相关的第二动作预测结果；基于第一动作预测结果和第二动作预测结果，确定智能体的执行动作。

上述多个子网络中，每个子网络对应一个友方角色或一个敌方角色。

上述游戏状态信息包括：全局状态信息、智能体的角色状态信息、友方角色的角色状态信息以及敌方角色的角色状态信息。

上述通过子网络输出与智能体的友方角色或敌方角色相关的第二动作预测结果的步骤，包括：针对每个子网络，从游戏状态信息中获取子网络对应的目标角色的角色状态信息；将目标角色的角色状态信息输入至子网络中，输出第二动作预测结果。

上述子网络包括第一特征提取模块、第一嵌入层和第一动作层；上述将目标角色的角色状态信息输入至子网络中，输出第二动作预测结果的步骤，包括：将目标角色的角色状态信息输入至第一特征提取模块，输出第一初始特征信息；将第一初始特征信息以及主网络输出的全局特征信息输入至第一嵌入层，输出嵌入层特征信息；将嵌入层特征信息输入至第一动作层，输出第二动作预测结果；其中，第二动作预测结果包括：智能体针对目标角色执行每个指定动作的概率。

如果目标角色为友方角色，第二动作预测结果包括：智能体向友方角色释放每个指定技能的概率；如果目标角色为敌方角色，第二动作预测结果包括：智能体向敌方角色释放每个指定技能的概率。

上述将第一初始特征信息以及主网络输出的全局特征信息输入至第一嵌入层，输出嵌入层特征信息的步骤，包括：通过第一嵌入层，对第一初始特征信息和全局特征信息进行Pairwise配对操作，得到嵌入层特征信息。

上述对第一初始特征信息和全局特征信息进行Pairwise配对操作，得到嵌入层特征信息的步骤，包括：将第一初始特征信息和全局特征信息进行拼接处理，得到拼接结果；将拼接结果输入至预设的全连接层，输出嵌入层特征信息。