[发明专利]游戏中人工智能模型的训练方法、装置、系统及服务器

权利要求书

1.一种游戏中人工智能模型的训练方法，其特征在于，应用于服务器，所述服务器预先配置有用于训练所述人工智能模型的至少一个自身训练任务和至少一个代理训练任务；所述服务器用于执行所述至少一个自身训练任务，生成第一结果数据；所述至少一个代理训练任务中的每个对应有代理服务器，所述代理服务器用于执行该代理服务器对应的所述代理训练任务，生成第二结果数据；所述方法包括：周期性获取所述代理服务器的当前第二结果数据，并更新历史第二结果数据；

重复执行如下步骤，直至所述人工智能模型符合预期：

基于历史第二结果数据，执行所述至少一个自身训练任务，得到当前第一结果数据；

将所述当前第一结果数据周期性的与至少一个所述代理服务器同步，以及判断所述人工智能模型是否符合预期。

2.根据权利要求1所述的方法，其特征在于，所述至少一个代理训练任务包括运行游戏实例，所述第二结果数据包括游戏数据；

所述至少一个自身训练任务包括将所述游戏数据作为训练样本训练所述人工智能模型，所述第一结果数据包括训练后的人工智能模型。

3.根据权利要求2所述的方法，其特征在于，所述至少一个自身训练任务还包括接收并统计所述游戏数据；

所述至少一个代理训练任务还包括将所述游戏数据同步至所述服务器。

4.根据权利要求1所述的方法，其特征在于，所述至少一个代理训练任务包括将游戏数据作为训练样本训练所述人工智能模型，所述第二结果数据包括训练后的人工智能模型；

所述至少一个自身训练任务包括运行至少一个游戏实例，所述第一结果数据包括所述游戏数据。

5.根据权利要求1所述的方法，其特征在于，更新历史第二结果数据的步骤，包括：

如果所述服务器中的历史第二结果数据与所述当前第二结果数据不同，则将所述服务器中历史第二结果数据的内容更改为所述当前第二结果数据；

其中，所述历史第二结果数据是所述服务器在获取到所述当前第二结果数据之前，从所述代理服务器处获取到的第二结果数据。

6.根据权利要求2所述的方法，其特征在于，将所述当前第一结果数据周期性的与至少一个所述代理服务器同步的步骤，包括：

应用发布订阅模式，通过广播的方式周期性的将所述训练后的人工智能模型分发到至少一个所述代理服务器。

7.根据权利要求4所述的方法，其特征在于，将所述当前第一结果数据周期性的与至少一个所述代理服务器同步的步骤，包括：

应用数据缓存方式，向缓存库中存放所述游戏数据，以使所述代理服务器从所述缓存库中获取所述游戏数据。

8.根据权利要求1所述的方法，其特征在于，将所述当前第一结果数据周期性的与至少一个所述代理服务器同步的步骤，包括：

周期性的向线程队列的末尾插入所述当前第一结果数据，以使所述代理服务器从所述线程队列中获取所述当前第一结果数据；

确定所述线程队列中所有数据占用的内存空间；

在所述线程队列的长度超过预设长度，或所述内存空间超过预设空间时，丢弃所述线程队列中的部分数据。

9.根据权利要求1所述的方法，其特征在于，判断所述人工智能模型是否符合预期的步骤，包括：

如果训练后的所述人工智能模型的实际收敛值符合预期收敛值，则确定所述人工智能模型符合预期；或者，

如果利用训练后的所述人工智能模型生成的实际游戏数据符合预期游戏数据，则确定所述人工智能模型符合预期。