[发明专利]通过视觉系统同时考虑图像特征中边缘和法线的系统和方法

说明书

本发明使用视觉系统在获取的图像中基于每个边缘在点到平面和点到边缘度量之间应用动态加权。这使得所应用的ICP技术对于各种目标几何形状和/或遮挡而言变得极为稳健。本文的系统和方法提供了能量函数，该能量函数被最小化以生成候选3D姿态，用于对象运行时3D图像数据与模型3D图像数据的对准。由于法线比边缘精确得多，因此在可能的情况下，使用法线是理想的。然而，在某些使用情况下，例如平面，边缘可在法线不提供信息的相关方向上提供信息。因此，本系统和方法定义了“法线信息矩阵”，其表示存在足够信息的方向。在矩阵上执行(例如)主分量分析(PCA)为可用信息提供了基础。

技术领域

本发明涉及机器视觉系统，更具体地，涉及识别三维(3D)图像特征并关于于训练的3D图案对准3D图像特征的视觉系统。

背景技术

机器视觉系统，本文中也称为“视觉系统”，用于在制造环境中执行各种任务。一般来说，视觉系统由一个或多个具有图像传感器(或“成像器”)的相机组件组成，该图像传感器获取包含制造中的对象的场景的灰度或彩色图像。可分析对象的图像以向用户和相关的制造过程提供数据/信息。相机产生的数据通常由视觉系统在一个或多个视觉系统处理器中分析和处理，视觉系统处理器可以是专用处理器，或者是在通用计算机(例如PC、笔记本电脑、平板电脑或智能手机)内实例化的一个或多个软件应用程序的一部分。

常见的视觉系统任务包括对准和检查。在对准任务中，视觉系统工具，例如从Cognex Corporation of Natick,MA购得的众所周知的系统，将场景的二维(2D)图像中的特征与训练过的(使用实际或合成模型)2D图案进行比较，并确定2D图像场景中2D图案的存在/不存在和姿态。该信息可用于后续检查(或其他)操作，以搜索缺陷和/或执行其他操作，例如零件抛弃。

使用视觉系统的特定任务是在运行时基于训练好的3D模型形状对准三维(3D)目标形状。3D相机可以基于多种技术——例如，激光位移传感器(轮廓仪)、立体相机、声纳、激光或LIDAR测距相机、飞行时间相机以及各种其他被动或主动距离感测技术。这种相机产生距离图像，其中产生了图像像素阵列(通常表征为沿着正交x和y轴的位置)，该阵列还包含每个像素的第三(高度)维度(通常表征为沿着垂直于x-y平面的z轴)。替代地，这种相机可以生成成像对象的点云表示。点云是空间中3D点的集合，其中每个点i可以表示为(Xi,Yi,Zi)。点云可以表示完整的3D对象，包括对象的背面和侧面、顶部和底部。3D点(Xi,Yi,Zi)表示空间中对象对于相机可见的位置。在该表示中，不存在点表示空白空间。

作为比较，3D距离图像表示Z(x，y)类似于2D图像表示I(x，y)，其中深度或高度Z代替了图像中的位置x，y处的亮度/强度I。距离图像专门表示直接面对相机的对象的正面，因为只有一个深度与任意点位置x，y相关联。距离图像通常不能表示对象的背面或侧面、顶部或底部。距离图像通常在每个位置(x，y)处都有数据，即使相机在这些位置处没有信息。可以以本领域的技术人员清楚的方式将距离图像变换为3D点云。

在将获取的或通过合成(例如CAD)处理生成的目标图像与模型图像(也是获取或合成的)对准时，一种方法涉及将目标3D点云与模型匹配/比较，以努力找到最佳匹配姿态。该比较可以涉及对目标相对于模型的覆盖范围的评分。超过某一阈值的分数被认为是可接受的匹配/姿态估计，并且该信息用于生成对准结果。然而，基于3D图像精确且有效地生成对准结果具有挑战性。