[发明专利]用于控制机器人的设备和方法

说明书

根据各种实施例，描述了一种用于控制机器人的方法，该方法包括：从对象的机器人的视角施行演示和用于演示的描述符图像；选择特征点集，其中通过搜索目标函数的最优值来选择特征点，该目标函数奖励在描述符图像中可见的所选特征点；使用演示来训练机器人控制模型；以及通过以下方式针对具有对象的控制场景控制机器人：确定对象的描述符图像，在对象的描述符图像中定位所选特征点集，确定所定位的特征点的欧几里德坐标，从所确定的欧几里德坐标估计姿态，以及借助于具有所估计的姿态的机器人控制模型来控制机器人处理对象。

技术领域

本公开涉及用于控制机器人的设备和方法。

背景技术

机器人技能可以通过从演示学习（LfD）方法来编程，其中机器人从演示学习技能的名义计划。LfD的主要思想是通过监测机器人工作空间的相机的姿态和机器人要处理的目标对象来参数化高斯分布。为此，并且也为了使用所得到的机器人控制模型，需要对给定场景中的对象姿态施行估计。一种可能性是基于RGB图像的姿态估计技术。然而，这些可能都不可靠。

因此，期望允许在LfD上下文中进行可靠姿态估计的方法。

发明内容

根据各种实施例，提供了一种用于控制机器人的方法，该方法包括：施行演示，其中每个演示演示对象的处理；对于每个演示，从对象的机器人的视角提供至少一个描述符图像，其中描述符图像指定对象上的位置的特征点；从指定的特征点选择特征点集，其中通过搜索奖励在描述符图像中可见的所选特征点的目标函数的最优值来选择特征点；使用演示来训练机器人控制模型，其中机器人控制模型被配置为取决于输入的对象姿态来输出控制信息；并且通过以下方式针对具有对象的控制场景控制机器人：从机器人的视角确定对象的描述符图像，在对象的描述符图像中定位所选特征点集，为控制场景确定所定位的特征点的欧几里德坐标，从所确定的欧几里德坐标估计姿态，以及借助于机器人控制模型来控制机器人处理对象，其中所估计的姿态被供应给机器人控制模型作为输入。

因此，施行用于对象姿态估计的特征点的自动选择，使得所选特征点清晰可见（例如，在大多数描述符图像中）。因此，可以看到特征点的选择是基于以下假设：在演示中看到的特征（例如，为记录演示而拍摄的图像）在某种意义上是好的特征，并且它们大部分时间是在机器人应该施行相应操纵技能的场景中看到的。

机器人的视角例如是附接到机器人的相机的视角，例如机器人末端效应器的视角。

因此，上面所描述的方法允许对对象进行准确和可靠的姿态（例如6D姿态）估计。

在下文中，给出了各种示例。

示例1是一种如上面所描述的用于控制机器人的方法。

示例2是根据示例1的方法，其中目标函数进一步奖励在描述符空间中间隔开的一个或多个所选特征点，对象上对应于所选特征点的位置在欧几里德空间中间隔开，并且对象的所选特征点的检测误差低。

这些条件确保可以为对象可靠地检测特征点，并且当已经检测到特征点时，可以可靠地确定对象的姿态。

示例3是根据示例1或2的方法，进一步包括将平面与对象匹配，并且选择特征点，使得它们在平面上定义坐标框架，并且从所定位的特征点的确定的欧几里德坐标和关于匹配的平面的姿态的信息来估计姿态。

这确保了可靠的姿态估计，即使对象是平坦的和/或在空间方向上几乎没有变化（即，不是“真实的”3D对象）。

示例4是根据示例3的方法，其中从所确定的欧几里德坐标估计姿态包括将所定位的特征点的欧几里德坐标投影到匹配的超平面。

因此，即使检测到特征点使得它们的欧几里德坐标不在平面上，也可以导出平面坐标框架（在平面中）。