[发明专利]在根据演示的示教中的双手检测

说明书

一种用于在根据人类演示的机器人示教中进行双手检测的方法。将演示者的手和工件的相机图像提供给第一神经网络，该第一神经网络根据该图像确定人类演示者的左手和右手的身份，并且还提供所识别的手的裁剪子图像。使用其中左手和右手被预先识别的图像来训练第一神经网络。然后，将裁剪子图像提供给第二神经网络，第二神经网络根据图像检测左手和右手两者的姿态，其中，如果利用右手图像训练第二神经网络，则在手姿态检测之前和之后水平地翻转左手的子图像。手姿态数据被转换为机器人夹持器姿态数据，并用于通过人类演示来示教机器人执行操作。

技术领域

本公开涉及工业机器人编程领域，并且更具体地，涉及用于根据相机图像确定人类演示者的左手和右手的身份，然后根据图像检测左手和右手两者的姿态的方法，其中手身份和姿态数据用于通过人类演示来示教或编程机器人执行操作。

背景技术

使用工业机器人重复地执行各种各样的制造、组装和材料移动操作是众所周知的。然而，使用传统方法示教机器人执行即使相当简单的操作-诸如拾取在传送机上处于随机位置和取向的工件并且将工件移动到容器-也存在问题。

一种传统的机器人示教方法包括操作者使用示教器来指示机器人进行增量移动--例如“在X方向上慢进”或“绕本地Z轴旋转夹持器--直到机器人及其夹持器处于正确的位置和取向以执行操作，然后存储操作数据，并且多次重复这个。另一种已知的示教机器人执行操作的技术是结合人类演示使用运动捕捉系统。因为已经发现使用示教器和运动捕捉系统的机器人编程是非直观的、耗时的和/或昂贵的，所以已经开发了用于根据使用相机图像的人类演示来进行机器人示教的技术。

在一些类型的操作中，例如组装包括许多零件的装置，人自然地使用两只手来执行操作任务。为了在这些情况下使机器人示教准确，需要可靠地检测人类演示者的左右手。一种用于确定人类演示者的左手和右手的身份的已知方法涉及提供人类的整个身体的相机图像，执行图像的拟人分析以识别左臂和右臂，并且然后基于手臂身份来识别左手和右手。然而，该技术需要与手姿态检测所需的图像分开的相机图像来识别手臂/手，并且还需要额外的计算步骤来进行身体骨骼分析。

可以用于识别人类演示者的左手和右手的其他技术涉及要求每只手保持相对于另一只手的相对位置，或者要求每只手保持在用于所有示教操作的位置边界内。然而，这些技术对人类演示者的自然手移动施加了无法维持的约束，并且如果违反约束则存在手的错误识别的风险。

鉴于上述情况，需要一种改进的技术，用于在根据人类演示的机器人示教中进行双手检测。

发明内容

根据本公开的教导，描述和说明了一种用于在根据人类演示的机器人示教中进行双手检测的方法。将演示者的手和工件的相机图像提供给第一神经网络，该第一神经网络根据该图像确定人类演示者的左手和右手的身份，并且还提供所识别的手的裁剪子图像。使用其中左手和右手被预先识别的图像来训练第一神经网络。然后，将裁剪子图像提供给第二神经网络，第二神经网络根据图像检测左手和右手两者的姿态，其中，如果利用右手图像训练第二神经网络，则在手姿态检测之前和之后水平地翻转左手的子图像。手姿态数据被转换为机器人夹持器姿态数据，并用于通过人类演示来示教机器人执行操作。

结合附图，根据以下描述和所附权利要求，当前公开的装置和方法的附加特征将变得显而易见。

附图说明

图1是根据本公开的实施例的如何分析人手的图像以确定指型机器人夹持器的对应位置和取向的示意图；

图2是根据本公开的实施例的如何分析人手的图像以确定磁性或吸盘类型机器人夹持器的对应位置和取向的示意图；

图3是根据本公开的实施例的用于根据人类演示者的双手的相机图像来标识手的位置和姿态的系统和步骤的示意图；

图4是根据本公开的实施例的用于训练在图3的系统中使用的手检测和识别神经网络的步骤的示意图；