[发明专利]交互任务的控制方法、装置、电子设备及存储介质

权利要求书

1.一种交互任务的控制方法，其特征在于，包括：

获取交互任务中的交互状态；

将所述交互状态输入机器学习模型获取目标对象在所述交互任务中的控制策略；

基于所述控制策略控制所述目标对象进行交互操作；

其中，所述机器学习模型由机器训练网络训练而得，所述机器训练网络包括自对弈模型以及由内部收益模型和外部收益模型构成的收益模型，所述内部收益模型对用于训练的交互数据进行计算得到相应的交互状态和内部收益值；所述内部收益值表征所述机器学习模型在所述交互状态下的收敛程度；所述外部收益模型对用于训练的交互数据进行计算得到外部收益值，所述外部收益值为控制目标对象进行交互操作所得收益；所述机器学习模型的训练步骤包括：

将所述自对弈模型自对弈时生成的交互数据输入所述收益模型，获得训练数据；所述自对弈模型自对弈为采用机器学习模型控制目标对象以及与目标对象交互的交互对象进行交互；

基于所述训练数据训练所述机器学习模型。

2.根据权利要求1所述的方法，其特征在于，所述基于所述训练数据训练所述机器学习模型，包括：

将所述训练数据输入所述机器学习模型，获得更新后的机器学习模型；

将所述更新后的机器学习模型反馈至所述自对弈模型，迭代所述训练数据，以迭代更新所述机器学习模型。

3.根据权利要求1所述的方法，其特征在于，所述将所述自对弈模型自对弈时生成的交互数据输入所述收益模型，获得训练数据，包括：

将所述自对弈模型自对弈生成的交互数据进行特征抽取，获得目标状态特征；其中，所述目标状态特征包括以单元方式表达的目标对象与交互对象的属性特征；

将所述目标状态特征输入所述收益模型，获得训练数据。

4.根据权利要求2所述的方法，其特征在于，所述将所述自对弈模型自对弈时生成的交互数据输入所述收益模型，获得训练数据，包括：

将更新前和更新后的机器学习模型以预设比例加载至所述自对弈模型，获得所述自对弈模型自对弈时生成的交互数据；

将所述交互数据输入所述收益模型，获得训练数据和更新后的内部收益模型。

5.根据权利要求4所述的方法，其特征在于，所述将所述交互数据输入所述收益模型，获得训练数据和更新后的内部收益模型，包括：

将所述交互数据输入所述内部收益模型获得内部收益值；

将所述交互数据输入所述外部收益模型获得外部收益值；

基于所述交互数据、内部收益值和外部收益值生成训练数据，并基于所述内部收益值更新所述内部收益模型。

6.根据权利要求5所述的方法，其特征在于，所述内部收益模型包括用于确定所述交互数据相应交互状态的目标收益模型和用于拟合所述目标收益模型的预测收益模型，所述将所述交互数据输入所述内部收益模型获得内部收益值，包括：

将所述交互数据输入所述目标收益模型，获得第一收益值；

将所述交互数据输入所述预测收益模型，获得第二收益值；

计算所述第一收益值与第二收益值差值的绝对值，并以内部收益值进行表示；

所述基于所述内部收益值更新所述内部收益模型包括：基于所述内部收益值更新所述预测收益模型。

7.根据权利要求4所述的方法，其特征在于，所述自对弈模型包括控制所述交互对象的第一机器学习模型和控制所述目标对象的第二机器学习模型；所述将更新前和更新后的机器学习模型以预设比例加载至所述自对弈模型，包括：

将迭代更新预设次数后的机器学习模型加载至所述第一机器学习模型的模型池中；

将每次迭代更新前和更新后的机器学习模型以预设比例加载至所述第二机器学习模型的模型池中。