[发明专利]一种游戏AI训练方法、装置及系统

说明书

本发明公开了一种游戏AI训练方法、装置及系统，其中所述方法包括：当运行游戏进程时，将采集的当前状态数据传输至服务端；控制延迟动作的执行；获取当前状态数据对应的决策数据，并结束延迟动作的执行；根据决策数据控制被训练的游戏AI角色执行决策动作，并生成回报数据和后续状态数据；将当前状态数据、决策数据、回报数据和后续状态数据组织成训练样本，并将训练样本传输至服务端，以实现服务端基于训练样本对训练网络进行训练并根据训练网络的数据更新决策网络，直至网络收敛。本发明能够在客户端等待服务端返回决策数据期间，控制延迟动作的执行，使得游戏持续运行，从而使得没有内置游戏暂停功能的游戏也能实现游戏AI训练正常进行。

技术领域

本发明涉及游戏人工智能技术领域，尤其涉及一种游戏AI训练方法、装置及系统。

背景技术

人工智能(AI，Artificial Intelligence)是使计算机来模拟人的某些思维过程和智能行为(如学习、规划等)技术，运用到游戏领域的游戏AI主要是通过一系列算法使得在非玩家角色中产生响应式、自适应式或智能式行为，使非玩家角色具有智能行为。优秀的游戏AI可以根据自身环境的变化做出相应的响应，增加游戏的丰富性和多样性。

为了让游戏AI能自发地产生对环境的响应，目前通过增强学习技术来训练游戏AI，利用程序的自我探索和对人类行为的模仿，自发产生对环境的响应，免去了人工设计游戏规则。目前，在对游戏AI训练过程中，为使采样与训练同步进行，需要暂停游戏的运行，等待游戏AI训练完后再继续运行，即游戏与游戏AI交替执行，游戏运行产生一系列数据，游戏暂停，游戏AI获取该数据并做出决策，游戏等待游戏AI做出决策，并在获取到决策后再次运行，以此实现采样和训练的同步。

然而，目前很多游戏由于游戏内部时钟等问题，并不支持在训练游戏AI时暂停游戏，游戏不暂停会使采样与游戏AI训练不同步，从而导致游戏AI训练无法正常进行。

发明内容

本发明实施例提供一种游戏AI训练方法、装置及系统，以解决现有技术中没有暂停功能的游戏无法正常进行游戏AI训练的技术问题。

为了解决上述技术问题，本发明提供了一种游戏AI训练方法，适用于客户端，所述方法包括：

当运行游戏进程时，将采集的当前状态数据传输至服务端；其中，所述游戏进程是由所述服务端分配的；

控制延迟动作的执行；其中，所述延迟动作为等待所述服务端返回所述当前状态数据对应的决策数据时，被训练的游戏AI角色执行的动作；

获取所述当前状态数据对应的决策数据，并结束所述延迟动作的执行；

根据所述当前状态数据对应的决策数据控制所述被训练的游戏AI角色执行决策动作，并生成回报数据和后续状态数据；

将所述当前状态数据、所述决策数据、所述回报数据和所述后续状态数据组织成训练样本，并将所述训练样本传输至服务端，以实现所述服务端基于所述训练样本对所述服务端的训练网络进行训练并根据训练网络的数据更新所述服务端的决策网络，直至网络收敛。

进一步的，所述游戏进程是由所述服务端分配的过程包括：

由所述服务端预先将待训练的整体游戏数据分成若干份游戏数据，并将所述若干份游戏数据分别分配至对应的客户端；其中，每份所述游戏数据中包括至少一个待运行的游戏进程。

进一步的，所述获取所述当前状态数据对应的决策数据包括：

检测所述延迟动作的执行时间；

当所述延迟动作的执行时间超过阈值时，从服务端返回的决策数据中随机抽取相应的数据作为所述当前状态数据对应的决策数据。

进一步的，所述游戏进程包括若干个；则，所述当运行游戏进程时，将采集的当前状态数据传输至服务端具体包括：