[发明专利]用于机器人机械的视觉系统

说明书

本发明涉及用于确定物体在机器人机械的局部坐标系中的姿态的方法，该方法包括：采集物体的第一面的至少一个图像和物体的第二面的至少一部分的至少一个图像；使用从第一面和第二面的采集图像中获得的图像数据来生成物体的至少一部分的点云表示；使用该点云表示将第一平面拟合到物体的第一面并且将第二平面拟合到物体的第二面；确定第一平面的姿态和第二平面的姿态；获取物体的至少第一面的形状模型；通过至少部分地使用第一面的至少一个图像，将形状模型在局部坐标系中定位；以及确定物体在局部坐标系中的姿态。本发明也公开了视觉系统和机器人机械。

优先权文件

本申请要求2018年9月4日提交的名称为“VISION SYSTEM FOR A ROBOTICMACHINE(用于机器人机械的视觉系统)”的澳大利亚临时申请No.2018903292的优先权，该临时申请的全部内容通过引用而并入本文中。

技术领域

本公开涉及一种机器人系统。在一具体形式中，本公开涉及一种用于确定由机器人机械保持着的物体的位置的视觉系统。

背景技术

自动化和半自动化的工业机器人设备正越来越多地用在诸如施工现场、建筑工地、采矿地区和工业现场等外部工作环境中。在许多情况下，工业机器人设备包括自动移动的吊臂和能够抓取、操纵和放置物体的工作部件。在某些应用中，令人期望的是，能够精确地知晓物体位于哪里，以便可以将该物体提供给系统中的另一个组件或将该物体放置于精确的位置。

一种这样的系统是由本申请人开发的机械式施工机器人，在该机械式施工机器人中，可伸缩铰接臂安装在卡车上，并且传送机将砖块运送到用于铺设砖块的被称为铺设头的末端执行器。当砖块到达铺设头时，在涂敷粘合剂的同时将砖块夹紧，然后将砖块转动180度，并且将砖块送出以供机械臂进行拾取，该机械臂优选以亚毫米的精度将砖块放置在所需位置。当铺设砖块时，假定砖块相对于机械臂被保持在某一姿态。为了使机械臂将砖块放置在期望位置，必须从夹具上的正确位置拾取砖块。

存在的一个问题是，不能准确地知晓砖块相对于铺设头中的夹具的确切位置。砖块可能会稍微地平移或转动从而离开机械臂的理想拾取位置。视觉系统可以被用来确定砖块在空间中的准确6DOF(自由度：degrees of freedom)位置(在质心位置(a,b,c)处的(x,y,z)指向方向)。然而，这是一项具有挑战性的任务，因为在铺设头处存在着空间限制，而无法(在不影响所需功能的前提下)放置相机和传感器，而且，必须快速执行处理(例如，少于2秒)，以确保快速的砖块铺设。此外，由于需要在很多种不同的室外条件下操作机器人，因此使这项任务变得更加困难，上述室外条件包括0℃～50℃的温度、雨水、沙尘、风力以及大白天、黄昏和夜晚照明条件。这对于用来确定砖块位置以能够实现砖块的精确放置的视觉系统提出了很高的要求。

因此，需要开发一种改进的用于机械施工设备的视觉系统，或者至少提供现有系统的一种有益替代物。

发明内容

根据第一方面，提供了一种用于确定物体在机器人机械的局部坐标系中的姿态的方法，所述方法包括：在一个或多个电子处理设备中，

a)使用一个或多个传感器装置来采集所述物体的第一面的至少一个图像和所述物体的第二面的至少一部分的至少一个图像，其中所述第二面的所述至少一部分包括第一边缘，所述第一面与所述第二面在所述第一边缘处相交；

b)使用从所述第一面和所述第二面的采集图像中获得的图像数据来生成所述物体的至少一部分的点云表示(point cloud representation)；

c)使用所述点云表示将第一平面拟合到所述物体的所述第一面并且将第二平面拟合到所述物体的所述第二面；

d)使用所述一个或多个传感器装置的在所述局部坐标系中的姿态来确定所述第一平面的姿态和所述第二平面的姿态；