[发明专利]机器人转译技能训练方法、装置及电子设备和存储介质

权利要求书

1.一种机器人转译技能训练方法，其特征在于，包括：

获取目标视频段，并确定所述目标视频段中的动作信息和每个所述动作信息的概率；其中，所述动作信息至少包括主体物体、受体物体和所述主体物体的动作类型，所述动作信息还包括左手的抓取类型和右手的抓取类型中的任一项或两项；

利用维特比算法基于每个所述动作信息的概率建立操作指令树；

根据所述操作指令树确定所述目标视频段对应的操作指令，以便机器人执行所述操作指令。

2.根据权利要求1所述机器人转译技能训练方法，其特征在于，所述获取目标视频段，包括：

获取原始视频，将所述原始视频以动作类型作为划分标准划分为多个所述目标视频段。

3.根据权利要求2所述机器人转译技能训练方法，其特征在于，将所述原始视频以动作类型作为划分标准划分为多个所述目标视频段，包括：

利用卷积神经网络提取所述原始视频的特征序列作为第一特征序列；

将所述第一特征序列输入空洞卷积神经网络中，以便识别所述原始视频中每帧图像对应的主体物体的动作类型，并基于识别结果将所述原始视频划分为多个所述目标视频段。

4.根据权利要求3所述机器人转译技能训练方法，其特征在于，所述确定所述目标视频段中的动作信息和每个所述动作信息的概率，包括：

基于所述识别结果确定所述目标视频段中动作类型的概率；

提取所述目标视频段中的手部位置的特征序列作为第二特征序列；

将所述第二特征序列输入分类器中，得到所述目标视频段中除所述动作类型之外的动作信息和除所述动作类型之外的动作信息的概率。

5.根据权利要求4所述机器人转译技能训练方法，其特征在于，所述提取所述目标视频段中的手部位置的特征序列作为第二特征序列，包括：

将所述目标视频段输入Mask R-CNN中，以便确定所述目标视频段中的手部位置，并提取所述手部位置的特征序列作为第二特征序列。

6.根据权利要求1所述机器人转译技能训练方法，其特征在于，所述利用维特比算法基于每个所述动作信息的概率建立操作指令树之后，还包括：

将所述操作指令树存储至数据库中；

所述方法还包括：

当接收到目标操作指令时，确定所述目标操作指令中每个元素的概率，判断是否存在所述概率小于预设阈值的元素；

若是，则将概率大于或等于所述预设阈值的元素确定为目标元素；

利用所述目标元素在所述数据库中匹配得到目标操作指令树，并利用目标操作指令树更新所述目标操作指令。

7.根据权利要求1至6中任一项所述机器人转译技能训练方法，其特征在于，所述利用维特比算法基于每个所述动作信息的概率建立操作指令树，包括：

根据所述动作信息的概率计算每个手部短语和每个动作短语的概率；其中，所述手部短语和所述动作短语为对所述动作信息按照预设组合规则进行组合得到的短语；

基于每个所述动作信息的概率、每个所述手部短语的概率、每个所述动作短语的概率、左手和右手的概率建立所述目标视频段对应的语法规则表；

根据所述语法规则表利用所述维特比算法建立所述操作指令树。

8.一种机器人转译技能训练装置，其特征在于，包括：

确定模块，用于获取目标视频段，并确定所述目标视频段中的动作信息和每个所述动作信息的概率；其中，所述动作信息包括主体物体、受体物体、左手的抓取类型、右手的抓取类型和所述主体物体的动作类型；

建立模块，用于利用维特比算法基于每个所述动作信息的概率建立操作指令树；

训练模块，用于根据所述操作指令树确定所述目标视频段对应的操作指令，以便机器人执行所述操作指令。

9.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述机器人转译技能训练方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述机器人转译技能训练方法的步骤。