[发明专利]决策模型的训练方法、装置、计算机设备及存储介质

权利要求书

1.一种决策模型的训练方法，其特征在于，所述方法包括：

获取第一模型池，所述第一模型池中包含至少一个决策模型，所述决策模型用于指示虚拟角色在对战时采用的对战策略；

在第n轮迭代过程中，将第i对战状态数据输入第n决策模型，得到所述第n决策模型输出的动作指令，所述第n决策模型为上一轮迭代过程训练得到的模型，所述第i对战状态数据用于表征对战过程中第i对战时刻时的对战状态，所述动作指令用于指示第一客户端控制第一虚拟角色执行动作，并反馈所述第一虚拟角色执行动作后的收集到的第i+1对战状态数据；

基于对战过程中的对战状态数据训练所述第n决策模型，得到第n+1决策模型；

将所述第n+1决策模型添加至所述第一模型池。

2.根据权利要求1所述的方法，其特征在于，所述基于对战过程中的对战状态数据训练所述第n决策模型，得到第n+1决策模型，包括：

基于相邻对战时刻对应的所述对战状态数据，确定第一奖励值；

基于对战结果确定第二奖励值，所述对战结果用于指示对战的胜负结果；

基于所述第一奖励值和所述第二奖励值训练所述第n决策模型，得到所述第n+1决策模型。

3.根据权利要求2所述的方法，其特征在于，所述基于相邻对战时刻对应的所述对战状态数据，确定第一奖励值，包括：

获取所述第i对战状态数据中的第i角色属性值，以及所述第i+1对战状态数据中的第i+1角色属性值，其中，角色属性值包括所述第一虚拟角色以及与第二虚拟角色的属性值，所述第二虚拟角色是与所述第一虚拟角色对战的虚拟角色；

基于所述第i角色属性值与所述第i+1角色属性值的属性值变化情况，确定所述第一奖励值。

4.根据权利要求2所述的方法，其特征在于，所述基于所述第一奖励值和所述第二奖励值训练所述第n决策模型，得到所述第n+1决策模型，包括：

在迭代轮数达到轮数阈值的情况下，基于所述第一奖励值和所述第二奖励值训练所述第n决策模型，得到所述第n+1决策模型。

5.根据权利要求4所述的方法，其特征在于，所述基于对战过程中的对战状态数据训练所述第n决策模型，得到第n+1决策模型，还包括：

在所述迭代轮数未达到所述轮数阈值的情况下，基于所述对战状态数据以及所述动作指令，确定第三奖励值；

基于所述第一奖励值、所述第二奖励值以及所述第三奖励值训练所述第n决策模型，得到所述第n+1决策模型。

6.根据权利要求5所述的方法，其特征在于，所述在所述迭代轮数未达到所述轮数阈值的情况下，基于所述对战状态数据以及所述动作指令，确定第三奖励值，包括：

在所述迭代轮数未达到所述轮数阈值的情况下，基于所述对战状态数据以及动作指令确定合理性参数，所述合理性参数用于表征在所述对战状态数据所表征对战状态下执行所述动作指令所表征动作的合理性；

基于所述合理性参数确定所述第三奖励值，所述第三奖励值与所述合理性参数呈正相关关系。

7.根据权利要求5所述的方法，其特征在于，所述基于所述第一奖励值、所述第二奖励值以及所述第三奖励值训练所述第n决策模型，得到所述第n+1决策模型，包括：

基于所述第一奖励值、所述第二奖励值以及基础奖励权重，确定基础奖励值；

基于所述第三奖励值和辅助奖励权重，确定辅助奖励值，所述辅助奖励权重小于所述基础奖励权重，且所述辅助奖励权重与所述迭代轮数呈负相关关系；

基于基础奖励值和所述辅助奖励值训练所述第n决策模型，得到所述第n+1决策模型。