[发明专利]一种游戏AI训练方法、装置及系统

权利要求书

1.一种游戏AI训练方法，其特征在于，适用于客户端，所述方法包括：

当运行游戏进程时，将采集的当前状态数据传输至服务端；其中，所述游戏进程是由所述服务端分配的；

控制延迟动作的执行；其中，所述延迟动作为等待所述服务端返回所述当前状态数据对应的决策数据时，被训练的游戏AI角色执行的动作；

获取所述当前状态数据对应的决策数据，并结束所述延迟动作的执行；

根据所述当前状态数据对应的决策数据控制所述被训练的游戏AI角色执行决策动作，并生成回报数据和后续状态数据；

将所述当前状态数据、所述决策数据、所述回报数据和所述后续状态数据组织成训练样本，并将所述训练样本传输至服务端，以实现所述服务端基于所述训练样本对所述服务端的训练网络进行训练并根据训练网络的数据更新所述服务端的决策网络，直至网络收敛。

2.如权利要求1所述的游戏AI训练方法，其特征在于，所述游戏进程是由所述服务端分配的过程包括：

由所述服务端预先将待训练的整体游戏数据分成若干份游戏数据，并将所述若干份游戏数据分别分配至对应的客户端；其中，每份所述游戏数据中包括至少一个待运行的游戏进程。

3.如权利要求1所述的游戏AI训练方法，其特征在于，所述获取所述当前状态数据对应的决策数据包括：

检测所述延迟动作的执行时间；

当所述延迟动作的执行时间超过阈值时，从服务端返回的决策数据中随机抽取相应的数据作为所述当前状态数据对应的决策数据。

4.如权利要求1所述的游戏AI训练方法，其特征在于，所述游戏进程包括若干个；则，所述当运行游戏进程时，将采集的当前状态数据传输至服务端具体包括：

当运行游戏进程时，采集每一游戏进程对应的当前状态数据；

当各个所述游戏进程的当前状态数据均收集完后，将各个所述游戏进程的当前状态数据作为同一批次的当前状态数据统一传输至所述服务端。

5.如权利要求4所述的游戏AI训练方法，其特征在于，所述获取所述当前状态数据对应的决策数据具体为：

统一获取同一批次的全部的所述当前状态数据对应的决策数据。

6.如权利要求4所述的游戏AI训练方法，其特征在于，按照收集先后顺序对各个所述游戏进程的当前状态数据加入数据关联信息，以实现各所述决策数据与其对应的当前状态数据关联；其中，各所述决策数据也附有与其对应的所述当前状态数据相同的所述数据关联信息。

7.一种游戏AI训练装置，其特征在于，包括：

第一状态数据模块，用于当运行游戏进程时，将采集的当前状态数据传输至服务端；其中，所述游戏进程是由所述服务端分配的；

延迟动作执行模块，用于控制延迟动作的执行；其中，所述延迟动作为等待服务端返回所述当前状态数据对应的决策数据时，被训练的游戏AI角色执行的动作；

第一决策数据模块，用于获取所述当前状态数据对应的决策数据，并结束所述延迟动作的执行；

决策动作执行模块，用于根据所述当前状态数据对应的决策数据控制所述被训练的游戏AI角色执行决策动作，并生成回报数据和后续状态数据；

第一训练样本模块，用于将所述当前状态数据、所述决策数据、所述回报数据和所述后续状态数据组织成训练样本，并将所述训练样本传输至服务端，以实现所述服务端基于所述训练样本对所述服务端的训练网络进行训练并根据训练网络的数据更新所述服务端的决策网络，直至网络收敛。