[发明专利]确定场景中的对象的三维姿态的方法和系统

说明书

技术领域

本发明总体上涉及三维对象的检测和识别，更具体地说，涉及确定对象的姿态(pose)。本方法的实际输出(即，对象的姿态)使得能够进行多种有用的应用，尤其是用于制造现场(setting)的料箱提取机械(binpicking machine)。

背景技术

工业机器人通常被设计用来以高准确度和高精确度来重复执行相同任务。在多种工业应用中(诸如制造和装配中)，机器人用于从料箱中‘提取’零件(零件获取)，并以正确的位置和方向(姿态)来放置这些零件，用于后续处理。

机器人依赖于要提取的零件的一致姿态。任何偏差都会导致机器人或者零件的损坏，这会增加成本。通常，定制设计的机械及机电系统用于以特定的姿态向机器人供给零件。在有些情况下，零件是由人工预先定位的，使得机器人能够容易地提取零件。

最近，计算机视觉技术已经被用于使零件定位及提取的过程自动化。大多数传统的自动化技术只能提取单个非封闭(non-occluding)零件，或者彼此间隔放置的零件(例如，零散地分散在传送带上的零件)。

虽然一些视觉辅助系统能够提取堆叠(stacked)的零件，但是这只能在使用复杂的机械系统或者人工干预的情况下实现。大多数视觉辅助系统缺乏可靠性、准确度和鲁棒性，并且使用昂贵的视觉传感器和硬件。当零件被随机放置、被以随意的方式彼此上下放置成一堆或放置在料箱中时，传统的视觉辅助系统缺乏三维零件获取的能力。

三维姿态估计及零件获取的问题是公知的。手工零件获取包括人工地进行获取、放置以进行装配。对于对沉重的零件进行工作的人是存在风险的。另外，要求人类操作者具备特定水平的一系列技巧。期望通过取代人类操作者来降低成本。

自动的零件获取系统通常使用机电装置，诸如装备有特别设计的用于提取零件的抓取器(grasper)的机械手。然而，机器人需要了解要提取零件的姿态。诸如精确固定(precision fixturing)的一些方法能够用于以特定的姿态将零件递交给机械手。这些系统是昂贵的，缺乏互操作性(即，需要针对特定的零件专门地设计这些系统)，而且不能处理成箱的随机堆叠的零件。

计算机视觉系统能够用于确定对象的姿态。这些系统通常使用一个或更多个照相机。能够对由这些照相机所获取的图像进行分析，以对这些对象进行定位，并为机械手提供用于进行后续操作的反馈。大多数视觉系统是二维的，并且只能用于二维的任务，诸如检查和简单的零件获取。那些系统只能够确定该零件在平面内的方向和位置，但是不能确定在平面外的任何旋转和到该零件的距离。通常，那些二维系统要求零件没有交叠，并且放置在平坦的表面上。所以，那些系统不能对成堆(pile)的随机放置的对象进行操作。

一些系统通过使得到该对象的距离基于在图像中该对象的尺寸，来改进二维视觉系统。但是，那些2.5维系统不能估计平面外的旋转，而且它们的距离估计通常不可靠。

三维视觉系统通常使用传感器来估计场景(scene)的三维几何尺寸。立体(stereo)系统使用两个照相机来估计到对象的距离。首先，相应的特征都位于立体图像中。这些照相机之间的几何关系能够用于识别这些特征的深度(距离)。然而，对相应的特征进行定位本身就是一个挑战性的问题，尤其是对于在外表上通常具有高反射性并相似(homogeneous)的机器零件。如果图像关于特征是嘈杂的，则立体系统可能会错误地估计深度。立体系统的另一个问题在于，只针对特征、而不是覆盖整个对象来恢复深度。所降低的准确度不足以进行准确的料箱提取。

激光三角测量(triangulation)使用结构光(structured light)来生成其全部图像都通过照相机获取的对象表面的模型(pattern)。激光三角测量能够恢复该对象表面的三维形状。这种技术例如已经被用于包括对柔性的且尺寸不稳定的零件进行焊接(welding)、密封(sealing)、胶浆淀积(glue deposition)、研磨(grinding)、水射流切割(waterjet cutting)以及去毛刺(deburring)的边缘跟踪(edge tracking)的应用。

激光三角测量要求图像配准(image registration)，并考虑阴影(shadow)和遮挡(occlusion)。那些系统对于一般、随机的料箱提取应用还不够完善。另外，当在人类操作者附近设置激光时经常会引起安全问题。

发明内容