[发明专利]机器人转译技能训练方法、装置及电子设备和存储介质

说明书

本申请公开了一种机器人转译技能训练方法、装置及一种电子设备和计算机可读存储介质，该方法包括：获取目标视频段，并确定所述目标视频段中的动作信息和每个所述动作信息的概率；其中，所述动作信息至少包括主体物体、受体物体和所述主体物体的动作类型，所述动作信息还包括左手的抓取类型和右手的抓取类型中的任一项或两项；利用维特比算法基于每个所述动作信息的概率建立操作指令树；根据所述操作指令树确定所述目标视频段对应的操作指令，以便机器人执行所述操作指令。本申请提供的机器人转译技能训练方法，可以使得机器人学习到更复杂的操作。

技术领域

本申请涉及机器人技术领域，更具体地说，涉及一种机器人转译技能训练方法、装置及一种电子设备和一种计算机可读存储介质。

背景技术

传统的工业机器人依靠人工进行预先编程，进而设定机器人的操作指令。虽然预编程使得这些机器人动作比较精准，但是如果工作场景或操作发生了变化，就需要重新进行编程来适应新的变化，这样不仅增加了人力物力等成本，而且大大局限了机器人的实用性。假若机器人能够拥有自主学习的能力，那么面对场景的变化，甚至操作动作的变化，都能良好地适应并执行最优的操作指令，这样就能降低成本，提高效率。

为了使得机器人更具有自主学习能力，在相关技术中，将视频输入到神经网络之中识别出操作指令三元组：(主体、动作、受体)，利用该操作指令三元组即可直观地得到操作指令。但是，相关技术中的操作指令三元组仅能表达简单的操作，假如操作比较复杂，比如：涉及到左右手的抓取手势，左右手各自抓取的物体，以及两只手或单手执行的操作，从神经网络中得到这些信息后，机器人无法自主进行物体和动作的理解和组合，那么即使神经网络能够识别出来，机器人也无法加以利用。

因此，如何使得机器人可以学习更复杂的操作是本领域技术人员需要解决的技术问题。

发明内容

本申请的目的在于提供一种机器人转译技能训练方法、装置及一种电子设备和一种计算机可读存储介质，使得机器人可以学习更复杂的操作。

为实现上述目的，本申请提供了一种机器人转译技能训练方法，包括：

获取目标视频段，并确定所述目标视频段中的动作信息和每个所述动作信息的概率；其中，所述动作信息至少包括主体物体、受体物体和所述主体物体的动作类型，所述动作信息还包括左手的抓取类型和右手的抓取类型中的任一项或两项；

利用维特比算法基于每个所述动作信息的概率建立操作指令树；

根据所述操作指令树确定所述目标视频段对应的操作指令，以便机器人执行所述操作指令。

其中，所述获取目标视频段，包括：

获取原始视频，将所述原始视频以动作类型作为划分标准划分为多个所述目标视频段。

其中，将所述原始视频以动作类型作为划分标准划分为多个所述目标视频段，包括：

利用卷积神经网络提取所述原始视频的特征序列作为第一特征序列；

将所述第一特征序列输入空洞卷积神经网络中，以便识别所述原始视频中每帧图像对应的主体物体的动作类型，并基于识别结果将所述原始视频划分为多个所述目标视频段。

其中，所述确定所述目标视频段中的动作信息和每个所述动作信息的概率，包括：

基于所述识别结果确定所述目标视频段中动作类型的概率；

提取所述目标视频段中的手部位置的特征序列作为第二特征序列；

将所述第二特征序列输入分类器中，得到所述目标视频段中除所述动作类型之外的动作信息和除所述动作类型之外的动作信息的概率。

其中，所述提取所述目标视频段中的手部位置的特征序列作为第二特征序列，包括：