[发明专利]一种机械手模型学习方法、装置、电子设备及存储介质

权利要求书

1.一种机械手模型学习方法，用于训练机械手模型，其特征在于，所述学习方法包括以下步骤：

获取多组供所述机械手模型学习的、关于同一执行任务的专家演示数据；

根据所述专家演示数据生成关联于学习成本函数的专家策略，所述学习成本函数基于模仿所述专家演示数据所需的模仿成本和所述专家演示数据的密集程度建立，所述学习成本函数为，满足：

，

其中，π^*为专家策略，π为机械手策略，表示动作a满足在状态s条件下的策略π，E为期望，表示状态s满足由专家策略为π^*引起的状态分布d_π*， 表示状态s满足由策略π引起的状态分布d_π，表示状态s下执行策略π，表示状态s下执行专家策略为π^*，表示两个策略之间的整体变化距离，为附加成本，满足：

，

其中，表示策略π满足后验概率分布，Var为随机变量方差，s为状态，a为动作，

为所述基于模仿所述专家演示数据所需的模仿成本，为强化学习成本，用于表征所述专家演示数据的密集程；

最小化所述学习成本函数以获取最优专家策略；

根据所述最优专家策略训练所述机械手模型；

所述根据所述专家演示数据生成关联于学习成本函数的专家策略的步骤包括：

根据所述专家演示数据生成所述专家策略，所述专家策略用于指导机械手模型生成用于所述模仿专家演示数据的模仿行动；

根据模仿行动获取所述模仿成本；

根据所述模仿行动对应的专家演示数据在所有专家演示数据中的密集程度获取强化学习成本；

根据所述模仿成本和所述强化学习成本建立学习成本函数。

2.根据权利要求1所述的一种机械手模型学习方法，其特征在于，所述获取多组供所述机械手模型学习的、关于同一执行任务的专家演示数据的步骤包括：

在虚拟现实中重复通过人类专家直接操作机械手或在现实场景中重复通过人类专家教学移动机械手进行关于同一执行任务的作业演示，以收集多组专家演示数据。

3.根据权利要求1所述的一种机械手模型学习方法，其特征在于，所述最小化所述学习成本函数以获取最优专家策略的步骤包括：

根据多组所述专家演示数据训练所述专家策略，使所述学习成本函数中的模仿成本最小化收敛；

最小化所述强化学习成本以获取最优专家策略。

4.根据权利要求3所述的一种机械手模型学习方法，其特征在于，所述根据多组所述专家演示数据训练所述专家策略，使所述学习成本函数中的模仿成本最小化收敛的步骤包括：

抽取部分所述专家演示数据训练所述专家策略，使所述学习成本函数中的模仿成本收敛；

根据所述专家演示数据梯度更新所述学习成本函数，使收敛后的模仿成本最小化收敛。

5.根据权利要求1所述的一种机械手模型学习方法，其特征在于，所述学习方法还包括执行于所述获取多组供所述机械手模型学习的、关于同一执行任务的专家演示数据的步骤之前的步骤：

根据作业场景的图像数据特征和机载传感器数据建立所述机械手模型训练用的状态空间。