[发明专利]一种游戏动作的处理方法和装置

权利要求书

1.一种游戏动作的处理方法，其特征在于，所述方法包括：

获取非玩家角色的当前游戏状态和动作空间；所述动作空间包括至少一个游戏动作；

将所述当前游戏状态输入到预先训练的强化学习网络模型中得到强化策略，所述强化策略中包括各个所述游戏动作的第一选择概率；

将所述动作空间输入到预先训练的辅助规则网络模型中得到辅助策略，所述辅助策略包括各个所述游戏动作的第二选择概率；

根据所述强化策略和所述辅助策略确定目标策略，所述目标策略中包括各个所述游戏动作基于所述第一选择概率和所述第二选择概率生成的目标概率；所述强化学习网络模型用于确定预期回报值高的游戏动作，所述辅助规则网络模型用于确定在游戏环境中无法执行的游戏动作；

根据各个所述游戏动作的目标概率从所述动作空间中筛选出目标游戏动作，控制所述非玩家角色执行所述目标游戏动作。

2.根据权利要求1所述的方法，其特征在于，所述强化学习网络模型通过如下方式进行训练：

获取第一样本数据；所述第一样本数据包括游戏状态、游戏动作、预期回报值和下一游戏状态；

采用所述第一样本数据训练所述强化学习网络模型。

3.根据权利要求1或2所述的方法，其特征在于，所述辅助规则网络模型通过如下方式进行训练：

获取第二样本数据；所述第二样本数据包括游戏状态、游戏动作和动作执行结果；

采用所述第二样本数据训练所述辅助规则网络模型。

4.根据权利要求3所述的方法，其特征在于，所述动作执行结果是控制所述非玩家角色执行所述目标游戏动作后得到的执行结果。

5.根据权利要求1所述的方法，其特征在于，所述根据所述强化策略和所述辅助策略确定目标策略，包括：

针对同一游戏动作，将所述强化策略中对应的第一选择概率和所述辅助策略中对应的第二选择概率相乘，得到目标概率；

组合所述游戏动作和对应的目标概率作为目标策略。

6.一种游戏动作的处理装置，其特征在于，所述装置包括：

游戏数据获取模块，用于获取非玩家角色的当前游戏状态和动作空间；所述动作空间包括至少一个游戏动作；

强化策略得到模块，用于将所述当前游戏状态输入到预先训练的强化学习网络模型中得到强化策略，所述强化策略中包括各个所述游戏动作的第一选择概率；

辅助策略得到模块，用于将所述动作空间输入到预先训练的辅助规则网络模型中得到辅助策略，所述辅助策略包括各个所述游戏动作的第二选择概率；

目标概率生成模块，用于根据所述强化策略和所述辅助策略确定目标策略，所述目标策略中包括各个所述游戏动作基于所述第一选择概率和所述第二选择概率生成的目标概率；所述强化学习网络模型用于确定预期回报值高的游戏动作，所述辅助规则网络模型用于确定在游戏环境中无法执行的游戏动作；

目标游戏动作执行模块，用于根据各个所述游戏动作的目标概率从所述动作空间中筛选出目标游戏动作，控制所述非玩家角色执行所述目标游戏动作。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

第一样本数据获取模块，用于获取第一样本数据；所述样第一本数据包括游戏状态、游戏动作、预期回报值和下一游戏状态；

强化训练模块，用于采用所述第一样本数据训练所述强化学习网络模型。

8.根据权利要求6或7所述的装置，其特征在于，所述装置还包括：

第二样本数据获取模块，用于获取第二样本数据；所述第二样本数据包括游戏状态、游戏动作和动作执行结果；

辅助训练模块，用于采用所述第二样本数据训练所述辅助规则网络模型。

9.根据权利要求8所述的装置，其特征在于，所述动作执行结果是控制所述非玩家角色执行所述目标游戏动作后得到的执行结果。