[发明专利]电子棋牌决策模型训练方法及装置、策略生成方法及装置

说明书

本发明涉及一种电子棋牌决策模型训练方法及装置、策略生成方法及装置，属于计算机及通信技术领域。所述电子棋牌决策模型训练方法包括：根据电子棋牌游戏参与者的样本牌面信息构建第一特征信息；根据与所述样本牌面信息对应的样本局面信息构建第二特征信息；对所述第一特征信息和所述第二特征信息进行拼接，生成第三特征信息；通过所述第三特征信息以及所述样本牌面信息对应的样本出牌策略对电子棋牌决策模型进行训练。本发明可以提高电子棋牌决策模型的工业可用性以及通用性。

技术领域

本发明涉及计算机及通信技术领域，具体而言，涉及一种电子棋牌决策模型训练方法、电子棋牌决策模型训练装置、电子棋牌策略生成方法、电子棋牌策略生成装置、电子设备以及计算机可读存储介质。

背景技术

电子游戏指以电子元器件组装成的设备(或称为游戏终端)为运行平台的游戏。随着计算机以及图形图像技术的发展，电子游戏已经成为当今人们一种流行的休闲娱乐方式。

电子棋牌游戏是电子游戏的一个重要分支。在电子棋牌游戏的许多场景下，需要由运行在服务端或本地客户端的电子棋牌决策模型辅助提供出牌策略；例如，在电子棋牌游戏的“托管”模式或者在人机对战模式下，均需要由电子棋牌决策模型辅助提供出牌策略。

然而现有技术中，部分电子棋牌决策模型存在工业可用性不佳或者通用性不足的问题。

发明内容

本发明的目的在于提供一种电子棋牌决策模型训练方法、电子棋牌决策模型训练装置、电子设备以及计算机可读存储介质，进而至少在一定程度上提高电子棋牌决策模型的工业可用性以及通用性。

根据本发明的第一方面，提供一种电子棋牌决策模型训练方法，包括：根据电子棋牌游戏参与者的样本牌面信息构建第一特征信息；根据与所述样本牌面信息对应的样本局面信息构建第二特征信息；对所述第一特征信息和所述第二特征信息进行拼接，生成第三特征信息；通过所述第三特征信息以及所述样本牌面信息对应的样本出牌策略对电子棋牌决策模型进行训练。

在本发明的一种示例性实施例中，所述电子棋牌决策模型为卷积神经网络模型。

在本发明的一种示例性实施例中，根据电子棋牌游戏参与者的样本牌面信息构建第一特征信息，包括：将所述样本牌面信息转换为多维数据结构；通过卷积核对转换后的所述样本牌面信息进行卷积运算；对所述卷积运算的结果进行池化处理，得到所述第一特征信息。

在本发明的一种示例性实施例中，将所述样本牌面信息转换为多维数据结构，包括：将所述样本牌面信息转换为一个或多个矩阵数据结构。

在本发明的一种示例性实施例中，根据样本局面信息构建第二特征信息，包括：将所述样本局面信息转换为一位有效编码而得到所述第二特征信息。

在本发明的一种示例性实施例中，对所述第一特征信息和所述第二特征信息进行拼接，包括：将多维的所述第一特征信息摊平为行向量；将摊平后的所述第一特征信息与一位有效编码形式的所述第二特征信息进行拼接，得到所述第三特征信息。

在本发明的一种示例性实施例中，对电子棋牌决策模型进行训练，包括：通过所述电子棋牌决策模型的全连接层基于所述第三特征信息输出初始出牌策略；基于所述初始出牌策略与所述样本出牌策略以及损失函数计算损失值，并根据所述损失值更新所述电子棋牌决策模型的参数。

在本发明的一种示例性实施例中，通过所述第三特征信息以及所述样本牌面信息对应的样本出牌策略对电子棋牌决策模型进行训练，包括：将所述第三特征信息以及所述样本牌面信息对应的样本出牌策略作为消息加入预设消息队列；从所述预设消息队列中获取所述第三特征信息以及所述样本牌面信息对应的样本出牌策略对电子棋牌决策模型进行训练。

在本发明的一种示例性实施例中，所述训练方法还包括：对所述电子棋牌决策模型进行强化学习训练。