[发明专利]一种基于人类演示视频的机器人控制方法、装置和设备

权利要求书

1.一种基于人类演示视频的机器人控制方法，其特征在于，包括：

输入待还原的演示视频和所述演示视频内各个行为操作的起始时间和结束时间；

根据所述各个行为操作的起始时间和结束时间，确定所述各个行为操作对应的视频片段；

在所述各个行为操作对应的视频片段中分别采集多幅采样图像，将所述多幅采样图像输入预先完成训练的预设卷积神经网络中，识别所述各个行为操作对应的目标动作；

将所述多幅采样图像输入至预先完成训练的预设目标检测模型中进行处理，根据所述预设算法模型的输出结果，确定所述各个行为操作对应的物体特征；

根据所述各个行为操作对应的物体特征，确定所述各个行为操作对应的主体和受体；

将所述各个行为操作对应的所述目标动作、所述主体和所述受体发送至目标机器人，以便所述目标机器人还原所述演示视频内的所述各个行为操作。

2.如权利要求1所述的机器人控制方法，其特征在于，所述在所述各个行为操作对应的视频片段中采集多幅采样图像，将所述采样图像输入预先完成训练的预设卷积神经网络中，识别所述各个行为操作对应的目标动作包括：

对所述视频片段的各秒片段分别采集预设数量幅采样图像，将所述采样图像分别输入至预先完成训练的双流卷积神经网络，根据所述双流卷积神经网络的输出结果，确定所述各秒片段的动作结果；

在所述视频各秒片段的动作结果中，查找出现次数最多的动作结果，确定所述视频片段对应的目标动作。

3.如权利要求2所述的机器人控制方法，其特征在于，对所述视频片段的任一秒片段采集预设数量幅采样图像前均包括：

识别所述视频片段中演示者的位置；根据所述演示者的位置设置感兴趣区域，在所述感兴趣区域内采集当前采样图像。

4.如权利要求2所述的机器人控制方法，其特征在于，所述将所述多幅采样图像输入至预先完成训练的预设目标检测模型中进行处理，根据所述预设算法模型的输出结果，确定所述各个行为操作对应的物体特征包括：

将所述多幅采样图像分别输入至预先完成训练的Mask-RCNN模型中，得到每幅采样图像中物体的位置和置信度；

统计所述每幅采样图像的处理结果中每个物体出现的次数和平均置信度，确定所述各个行为操作对应的物体特征。

5.如权利要求1所述的机器人控制方法，其特征在于，所述将所述各个行为操作对应的物体特征，确定所述各个行为操作对应的主体和受体包括：

将所述各个行为操作对应的物体特征分别输入至两个XGBoost模型中，根据所述两个XGBoost模型的输出结果，确定所述各个行为操作对应的主体和受体。

6.一种基于人类演示视频的机器人控制装置，其特征在于，包括：

输入模块，用于输入待还原的演示视频和所述演示视频内各个行为操作的起始时间和结束时间；

第一确定模块，用于根据所述各个行为操作的起始时间和结束时间，确定所述各个行为操作对应的视频片段；

识别模块，用于在所述各个行为操作对应的视频片段中分别采集多幅采样图像，将所述多幅采样图像输入预先完成训练的预设卷积神经网络中，识别所述各个行为操作对应的目标动作；

处理模块，用于将所述多幅采样图像输入至预先完成训练的预设目标检测模型中进行处理，根据所述预设算法模型的输出结果，确定所述各个行为操作对应的物体特征；

第二确定模块，用于根据所述各个行为操作对应的物体特征，确定所述各个行为操作对应的主体和受体；

还原模块，用于将所述各个行为操作对应的所述目标动作、所述主体和所述受体发送至目标机器人，以便所述目标机器人还原所述演示视频内的所述各个行为操作。

7.如权利要求6所述的机器人控制装置，其特征在于，所述识别模块包括：

采样单元，用于对所述视频片段的各秒片段分别采集预设数量幅采样图像，将所述采样图像分别输入至预先完成训练的双流卷积神经网络，根据所述双流卷积神经网络的输出结果，确定所述各秒片段的动作结果；

确定单元，用于在所述视频各秒片段的动作结果中，查找出现次数最多的动作结果，确定所述视频片段对应的目标动作。