[发明专利]对象控制方法、装置、存储介质及电子设备

权利要求书

1.一种对象控制方法，其特征在于，所述方法包括：

获取样本数据集合，所述样本数据集合包括所述对象完成一次目标任务过程中的各个状态动作对，以及与所述各个状态动作对对应的第一奖励分值，一个状态动作对对应的第一奖励分值为通过对示教数据集合进行模仿学习得到的判别模型进行处理得到的分值，一个状态动作对表征所述对象的一个状态与该状态下执行的动作决策之间的关联关系；

基于所述样本数据集合对待训练的强化学习模型进行一次迭代训练，直至所述待训练的强化学习模型在达到预设的训练条件之后，得到对象的动作决策模型，所述动作决策模型用于基于对象的初始状态确定所述对象的动作决策，以实现对所述对象的控制。

2.根据权利要求1所述的方法，其特征在于，一个状态动作对对应的第一奖励分值的确定过程包括：

通过判别模型对任一状态动作对进行处理，得到第一数值，所述第一数值表征该状态动作对中的动作决策为示教数据样本中与该状态动作对中的状态对应的标准决策动作的概率；

将所述第一数值的2倍与自然数1的差值确定为该状态下的第一奖励分值。

3.根据权利要求1所述的方法，其特征在于，每一所述样本数据集合还包括与所述各个状态动作对对应的第二奖励分值，和/或表征所述对象完成一次目标任务的结果的第三奖励分值，一个状态动作对对应的第二奖励分值为通过预设奖励函数对该状态动作对进行处理得到的分值。

4.根据权利要求3所述的方法，其特征在于，所述对象为抓取机器人，所述第二奖励分值反映以下信息中的一种或者多种：

所述抓取机器人与环境是否发生碰撞以及所述抓取机器人与待抓取对象之间的距离。

5.根据权利要求1所述的方法，其特征在于，所述获取样本数据集合，包括：

获取所述对象的初始状态；

将所述初始状态输入所述待训练的强化学习模型，得到所述待训练的强化学习模型输出的所述对象完成一次目标任务过程中的各个状态动作对；

将所述对象完成一次目标任务过程中的各个状态动作对，以及与所述各个状态动作对对应的第一奖励分值确定为所述样本数据集合。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

在所述待训练的强化学习模型输出的状态动作对的数量满足预设数量，或者输出的所述状态动作对中的状态满足预设限制条件，或者输出的所述状态动作对中的状态表征所述对象成功执行目标任务时，确定所述对象完成一次目标任务过程。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述判别模型的训练过程包括：

在对待训练的强化学习模型进行迭代训练过程中，每隔预设迭代次数，基于所述样本数据集合中以及所述示教数据集合中对应同一状态下的动作决策之间的差异，构造损失函数；

基于所述损失函数对待训练的判别网络进行一次迭代训练，直至所述待训练的判别网络在达到预设的训练条件之后，得到所述判别模型。

8.一种对象的控制装置，其特征在于，所述装置包括：

获取模块，用于获取样本数据集合，所述样本数据集合包括所述对象完成一次目标任务过程中的各个状态动作对，以及与所述各个状态动作对对应的第一奖励分值，一个状态动作对对应的第一奖励分值为通过对示教数据集合进行模仿学习得到的判别模型进行处理得到的分值，一个状态动作对表征所述对象的一个状态与该状态下执行的动作决策之间的关联关系；

训练模块，用于基于所述样本数据集合对待训练的强化学习模型进行一次迭代训练，直至所述待训练的强化学习模型在达到预设的训练条件之后，得到对象的动作决策模型，所述动作决策模型用于基于对象的初始状态确定所述对象的动作决策，以实现对所述对象的控制。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。

10.一种电子设备，其特征在于，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-7中任一项所述方法的步骤。