[发明专利]对象控制方法、装置、存储介质及电子设备

说明书

本公开涉及一种对象控制方法、装置、存储介质及电子设备，方法包括：获取样本数据集合，样本数据集合包括对象完成一次目标任务过程中的各个状态动作对，以及与各个状态动作对对应的第一奖励分值，一个状态动作对对应的第一奖励分值为通过对示教数据集合进行模仿学习得到的判别模型进行处理得到的分值；基于样本数据集合对待训练的强化学习模型进行一次迭代训练，直至待训练的强化学习模型在达到预设的训练条件之后，得到对象的动作决策模型，动作决策模型用于基于对象的初始状态确定对象的动作决策，以实现对对象的控制。该方法可以使得对象任务执行动作更加拟人化。

技术领域

本公开涉及人工智能技术领域，具体地，涉及一种对象控制方法、装置、存储介质及电子设备。

背景技术

随着机器人技术的发展，人们不再局限于机器人能够完成任务这个简单目标，而是对机器人提出了更多的需求，例如，希望机器人任务执行动作能够拟人化。

机器人在执行任务过程中，虽然可以采用规则写入的强化学习方式，即依靠添加一些特定的奖励函数来约束其动作，例如：在抓取任务中，手在桌子下方时不希望机器人腰部前后左右晃动，目标物在手臂长度以内时不希望腰部移动等。

然而，对于任务执行动作拟人化这个目标，由于很难描述任务执行动作的拟人化程度，因此写不出与之匹配的奖励函数。从而，使得相关技术中采用强化学习训练得到的机器人很难达到保证任务执行动作的拟人化。

发明内容

本公开的目的是提供一种对象控制方法、装置、存储介质及电子设备，解决了待控制对象任务执行动作不够拟人化的问题。

为了实现上述目的，第一方面，本公开提供一种对象控制方法，所述方法包括：

获取样本数据集合，所述样本数据集合包括所述对象完成一次目标任务过程中的各个状态动作对，以及与所述各个状态动作对对应的第一奖励分值，一个状态动作对对应的第一奖励分值为通过对示教数据集合进行模仿学习得到的判别模型进行处理得到的分值，一个状态动作对表征所述对象的一个状态与该状态下执行的动作决策之间的关联关系；

基于所述样本数据集合对待训练的强化学习模型进行一次迭代训练，直至所述待训练的强化学习模型在达到预设的训练条件之后，得到对象的动作决策模型，所述动作决策模型用于基于对象的初始状态确定所述对象的动作决策，以实现对所述对象的控制。

在一些实施方式中，一个状态动作对对应的第一奖励分值的确定过程包括：

通过判别模型对任一状态动作对进行处理，得到第一数值，所述第一数值表征该状态动作对中的动作决策为示教数据样本中与该状态动作对中的状态对应的标准决策动作的概率；

将所述第一数值的2倍与自然数1的差值确定为该状态下的第一奖励分值。

在一些实施方式中，每一所述样本数据集合还包括与所述各个状态动作对对应的第二奖励分值，和/或表征所述对象完成一次目标任务的结果的第三奖励分值，一个状态动作对对应的第二奖励分值为通过预设奖励函数对该状态动作对进行处理得到的分值。

在一些实施方式中，所述对象为抓取机器人，所述第二奖励分值反映以下信息中的一种或者多种：

所述抓取机器人与环境是否发生碰撞以及所述抓取机器人与待抓取对象之间的距离。

在一些实施方式中，所述获取样本数据集合，包括：

获取对象的初始状态；

将所述初始状态输入所述待训练的强化学习模型，得到所述待训练的强化学习模型输出的所述对象完成一次目标任务过程中的各个状态动作对；

将所述对象完成一次目标任务过程中的各个状态动作对，以及与所述各个状态动作对对应的第一奖励分值确定为所述样本数据集合。