[发明专利]一种游戏中智能体的训练及控制方法

权利要求书

1.一种游戏中智能体的控制方法，其特征在于，所述方法包括：

将游戏状态信息输入至预先训练完成的动作输出模型中；其中，所述动作输出模型包括主网络以及多个子网络；所述多个子网络中包含第一子网络集合和第二子网络集合，所述第一子网络集合对应智能体的友方角色，所述第二子网络集合对应所述智能体的敌方角色；

通过所述主网络输出与所述智能体或游戏环境相关的第一动作预测结果；通过所述子网络输出与所述智能体的友方角色或敌方角色相关的第二动作预测结果；

基于所述第一动作预测结果和第二动作预测结果，确定所述智能体的执行动作；

其中，所述动作输出模型通过下述方式训练得到：

根据当前游戏参与角色的数量，确定共同训练的多个初始模型的数量；其中，每个所述初始模型对应一种角色；

采用自对弈的方式，共同训练所述多个初始模型，得到训练完成后的所述多个初始模型；

根据每个所述初始模型在训练过程中的游戏成绩，从训练完成后的所述多个初始模型中确定出所述动作输出模型。

2.根据权利要求1所述的方法，其特征在于，所述多个子网络中，每个子网络对应一个友方角色或一个敌方角色。

3.根据权利要求1所述的方法，其特征在于，所述游戏状态信息包括：全局状态信息、所述智能体的角色状态信息、所述友方角色的角色状态信息以及所述敌方角色的角色状态信息。

4.根据权利要求1所述的方法，其特征在于，通过所述子网络输出与所述智能体的友方角色或敌方角色相关的第二动作预测结果的步骤，包括：

针对每个所述子网络，从所述游戏状态信息中获取所述子网络对应的目标角色的角色状态信息；

将所述目标角色的角色状态信息输入至所述子网络中，输出第二动作预测结果。

5.根据权利要求4所述的方法，其特征在于，所述子网络包括第一特征提取模块、第一嵌入层和第一动作层；

所述将所述目标角色的角色状态信息输入至所述子网络中，输出第二动作预测结果的步骤，包括：

将所述目标角色的角色状态信息输入至所述第一特征提取模块，输出第一初始特征信息；将所述第一初始特征信息以及所述主网络输出的全局特征信息输入至所述第一嵌入层，输出嵌入层特征信息；

将所述嵌入层特征信息输入至所述第一动作层，输出所述第二动作预测结果；其中，所述第二动作预测结果包括：所述智能体针对所述目标角色执行每个指定动作的概率。

6.根据权利要求5所述的方法，其特征在于，如果所述目标角色为友方角色，所述第二动作预测结果包括：所述智能体向所述友方角色释放每个指定技能的概率；

如果所述目标角色为敌方角色，所述第二动作预测结果包括：所述智能体向所述敌方角色释放每个指定技能的概率。

7.根据权利要求5所述的方法，其特征在于，将所述第一初始特征信息以及所述主网络输出的全局特征信息输入至所述第一嵌入层，输出嵌入层特征信息的步骤，包括：

通过所述第一嵌入层，对所述第一初始特征信息和所述全局特征信息进行Pairwise配对操作，得到所述嵌入层特征信息。

8.根据权利要求7所述的方法，其特征在于，对所述第一初始特征信息和所述全局特征信息进行Pairwise配对操作，得到所述嵌入层特征信息的步骤，包括：

将所述第一初始特征信息和所述全局特征信息进行拼接处理，得到拼接结果；将所述拼接结果输入至预设的全连接层，输出所述嵌入层特征信息。

9.根据权利要求7所述的方法，其特征在于，对所述第一初始特征信息和所述全局特征信息进行Pairwise配对操作，得到所述嵌入层特征信息的步骤，包括：

求取所述第一初始特征信息和所述全局特征信息的内积，得到内积结果；将所述内积结果确定为所述嵌入层特征信息。