[发明专利]一种基于人类演示视频的机器人控制方法、装置和设备

说明书

本发明公开了一种基于人类演示视频的机器人控制方法、装置、设备及计算机可读存储介质，包括：输入待还原的演示视频，确定演示视频内各个行为操作对应的视频片段；在各个视频片段内分别采集多幅采样图像，并将多幅采样图像输入预设卷积神经网络中，识别各个行为操作的目标动作；将多幅采样图像输入至预设目标检测模型中，根据输出结果，确定各个行为操作的物体特征，从而确定各个行为操作对应的主体和受体；将各个行为操作对应的目标动作、主体和受体发送至目标机器人，以便目标机器人还原演示视频的内容。本发明所提供的方法、装置、设备及计算机可读存储介质，机器人在没有强烈约束条件、用户不需要培训和佩戴额外设备的情况下可还原演示视频。

技术领域

本发明涉及机器人控制技术领域，特别是涉及一种基于人类演示视频的机器人控制方法、装置、设备以及计算机可读存储装置。

背景技术

传统机器人所具备的技能都是通过出厂时预装的程序所确定的，如果希望机器人掌握新的技能则必须由专业人士编写新的程序来实现。这使得大部分普通用户不能让机器人掌握新的技能，极大的增加了用户个性化机器人的门槛。

现有技术中，让机器人掌握新技能的方法有：(1)让用户拖动机器人的机械臂，通过记录机械臂的电机信息，达到复现演示内容的目的。(2)通过传感器采集人体关节信息，让机械臂完全模仿人体关节的状态，达到复现演示内容的目的。而现有技术中让机器人掌握新技能的方法，要求用户在强烈的约束环境下演示；要求用户使用特定的颜色标记或者在纯色背景下颜色演示。这种方案需要用户阅读并学习如何使用特殊的约束，增加了用户使用的门槛。通过完全模仿使机械臂复现演示内容的方法，需要用户佩戴特制硬件或者使用传感器，获得人体关节信息，机器人完全模仿采集到的关节信息。机器人利用该方法复现演示内容时，机器人并没有理解演示的内容，只是机械的模仿；且所学习到的内容只能应用在物体摆放位置完全一样的同一环境下；由于演示环境不同所以不能从网络获得演示资料，机器人学习的演示资料只能由用户提供；并且采集关节信息的硬件造价昂贵。

综上所述可以看出，如何在没有强烈的环境约束和演示视频的约束下，使不佩戴任何硬件的普通用户能让机器人学习新的技能是目前有待解决的问题。

发明内容

本发明的目的是提供一种基于人类演示视频的机器人控制方法、装置、设备以及计算机可读存储介质，以解决现有技术中普通用户让机器人学习新技能存在强烈的环境约束、演示视频的约束且需要经过培训并佩戴专业硬件的问题。

为解决上述技术问题，本发明提供一种基于人类演示视频的机器人控制方法，包括：输入待还原的演示视频和所述演示视频内各个行为操作的起始时间和结束时间；根据所述各个行为操作的起始时间和结束时间，确定所述各个行为操作对应的视频片段；在所述各个行为操作对应的视频片段中分别采集多幅采样图像，将所述多幅采样图像输入预先完成训练的预设卷积神经网络中，识别所述各个行为操作对应的目标动作；将所述多幅采样图像输入至预先完成训练的预设目标检测模型中进行处理，根据所述预设算法模型的输出结果，确定所述各个行为操作对应的物体特征；根据所述各个行为操作对应的物体特征，确定所述各个行为操作对应的主体和受体；将所述各个行为操作对应的所述目标动作、所述主体和所述受体发送至目标机器人，以便所述目标机器人还原所述演示视频内的所述各个行为操作。

优选地，所述在所述各个行为操作对应的视频片段中采集多幅采样图像，将所述采样图像输入预先完成训练的预设卷积神经网络中，识别所述各个行为操作对应的目标动作包括：

对所述视频片段的各秒片段分别采集预设数量幅采样图像，将所述采样图像分别输入至预先完成训练的双流卷积神经网络，根据所述双流卷积神经网络的输出结果，确定所述各秒片段的动作结果；

在所述视频各秒片段的动作结果中，查找出现次数最多的动作结果，确定所述视频片段对应的目标动作。

优选地，对所述视频片段的任一秒片段采集预设数量幅采样图像前均包括：