[发明专利]智能游戏处理方法、装置、设备及存储介质

说明书

本发明公开了一种智能游戏处理方法，包括：获取智能游戏的当前玩家的游戏状态数据，并对所述智能游戏进行模拟；根据预设的蒙特卡洛搜索树搜索当前玩家的游戏状态数据对应执行的动作直至整轮游戏结束；其中，每一次执行搜索得到的对应动作产生的游戏数据均作为下一次搜索时的当前玩家的游戏状态数据；将所述整轮游戏执行的各个动作后对应产生的游戏信息进行保存至数据库；根据从所述数据库获取的采样数据采用反向传播法对预先构建的价值网络以及预先构建的动作概率网络的损失值函数进行优化，得到最佳价值网络以及最佳动作概率网络。本发明实施例还公开了一种智能游戏处理装置、设备及存储介质，采用多个实施例解决了在非完全信息游戏中，非玩家角色的行为决策不准确，游戏质量下降的问题。

技术领域

本发明涉及计算机技术领域，尤其涉及一种智能游戏处理方法、装置、设备及存储介质。

背景技术

回合制游戏内玩家轮流自己的回合，只有轮到自己的回合才能进行操作，趣味性比较强，已经成为人们主要的休闲娱乐方式之一。回合制游戏中非玩家角色的行为决策往往是影响游戏质量和用户体验的重要因素，传统游戏人工智能的实现是通过状态机或行为树来实现，通过不同的状态触发非玩家角色的对应操作，这种方式一方面容易让玩家掌握规律，失去可玩性，另一方面，随着游戏状态越来越复杂，设计逻辑越来越复杂。

随着Al phaGo在围棋上的成功，强化学习在游戏的运用越来越广泛，然而棋类游戏具有完全信息的特性，对方和己方的状态都全部公开，不存在隐含的信息，不存在随机的因素。而在非完全信息的游戏中，玩家对对方的信息并不能完全知道，并且，出招带来的效果具有随机性，存在很多的不确定因素，对强化学习的训练造成很大困难，从而导致非玩家角色的行为决策不准确，游戏质量下降。

发明内容

本发明实施例提供一种智能游戏处理方法、装置、设备及存储介质，能有效解决现有技术中面对非完全信息游戏时，非玩家角色的行为决策不准确，游戏质量下降的问题。

本发明一实施例提供一种智能游戏处理方法，包括：

获取智能游戏的当前玩家的游戏状态数据，并对所述智能游戏进行模拟；

根据预设的蒙特卡洛搜索树搜索当前玩家的游戏状态数据对应执行的动作直至整轮游戏结束；其中，每一次执行搜索得到的对应动作产生的游戏数据均作为下一次搜索时当前玩家的游戏状态数据；

将所述整轮游戏执行的各个动作后对应产生的游戏信息进行保存至数据库；

根据从所述数据库获取的采样数据采用反向传播法对预先构建的价值网络以及预先构建的动作概率网络的损失值函数进行优化，得到最佳价值网络以及最佳动作概率网络；

其中，所述游戏信息包括：当前玩家的游戏状态数据、当前玩家的游戏状态数据对应执行各个动作的概率标签、当前游戏状态价值标签以及整轮游戏结束时的游戏结果；

其中，所述预先构建的价值网络以及预先构建的动作概率网络的损失值函数具体为：

L＝αLv+βLp+ηw^tw；

其中，Lv为价值网络的损失值函数，α为价值网络的损失值函数的系数，Lp为动作概率网络的损失值函数，β为动作概率网络的损失值函数的系数，w^tw为正则化惩罚项，η为正则化惩罚项的系数。

作为上述方案的改进，所述根据预设的蒙特卡洛搜索树搜索当前玩家的游戏状态数据对应执行的动作直至整轮游戏结束；其中，每一次执行搜索得到的对应动作产生的游戏数据均作为下一次搜索时当前玩家的游戏状态数据，具体包括：

确定所述当前玩家的游戏状态数据对应的节点；

根据所述当前玩家的游戏状态数据对应的节点查找至少一个对应的子节点；