[发明专利]对物体三维重建初始对应分配有效数据处理的方法和设备

说明书

本申请描述的技术涉及对例如物体的三维重建的初始对应分配的数据进行有效处理的方法、装置和计算机可读介质。在一些方面，该系统包括处理器，该处理器被配置为执行以下动作：接收场景的第一组图像和第二组图像；基于第一组图像确定第一像素指纹和基于第二组图像确定第二像素指纹；基于第一像素指纹生成第一二进制像素指纹，基于第二像素指纹生成第二二进制像素指纹；以及至少部分地基于第一二进制像素指纹和第二二进制像素指纹的比较，确定第一像素指纹与第二像素指纹之间是否存在立体对应关系。

技术领域

本文描述的技术一般涉及对物体或场景的二维图像进行三维(3D)重建，尤其涉及对二维图像对之间的初始对应分配数据进行有效处理的技术。

背景技术

越来越多的先进机器视觉系统及其底层软件被用于各种制造和质量控制过程。机器视觉允许在批量生产和定制产品的生产中获得更快、更准确以及可重复的结果。典型的机器视觉系统包括一个或多个相机，其指向感兴趣区域；照明源，其用于引导感兴趣区域上的适当照明；帧抓取器/图像处理元件，其用于捕获和发送图像；计算机或机载处理设备，其用于运行机器视觉软件应用程序和操纵所捕获的图像；以及用于交互的用户界面。

一种3D视觉系统，其基于立体相机，该立体相机采用至少两个以并排关系布置的相机，且两个相机之间的基线为一英寸至数英寸。基于立体视觉的系统通常基于对极几何和图像校正。他们可以使用基于相关的方法或与放松技术(relaxation technique)结合来找到来自两个或更多个相机的校正图像中的对应关系。然而，由于所需的计算工作，传统的立体视觉系统在对物体和/或场景的准确且快速的三维数据重建的创建能力方面受到限制。

发明内容

根据所公开的主题，提供了用于有效地处理(例如，从二维图像对中对物体或场景进行三维重建的)二维图像对之间的初始对应分配数据的装置、系统和方法。发明人已经认识到，虽然传统系统可以将某种归一化(normalized)的互相关应用于二维图像对以确定立体对应关系，但是这些系统通常必须花费大量的计算工作来执行必要的计算(例如，由于需要处理的像素值的数量、那些像素值的大小等)。发明人已经开发了如本文将进一步讨论的技术，其通过有效地处理二维图像对(特别是对于立体时间图像序列对)的初始对应分配来改进三维数据重建技术。立体时间图像序列包括随时间自不同视角捕获的物体或场景的图像集合。发明人注意到所描述的系统和方法在为立体时间图像序列中的每个像素指纹导出二进制像素指纹时特别新颖。

在一些方面，所描述的系统和方法提供用于在两个图像之间建立立体对应关系的系统。该系统可以包括两个或更多个相机(或传感器)，其布置成以一致的方式捕获场景的图像，例如，通过将两个或更多个相机设置为以不同的视角捕获场景，以产生立体图像对应关系。可选地，该系统可以包括一个或多个相机(或传感器)，其具有一个或多个逆相机(inverse camera)(或投射器(projector))，其布置成以一致的方式捕获场景的图像以产生成对的立体图像对应关系。可以使用一个或多个投射器在场景上投射一系列光图案，并且可以从每个相机捕获一组图像。从每个相机捕获的图像集可以被称为时间图像。该组图像中的每个图像可以对应于一系列投射光图案中的其中一个。

随后，可以为每个相机确定时间图像和二进制时间图像。时间图像中位置(i,j)处的像素指纹可包括在位置(i,j)处和/或从每个相机捕获的图像集合相对于位置(i,j)在空间和/或时间中的不同位置处收集的有序像素值集合。在一些实施例中，时间图像中位置(i,j)处的像素指纹可包括在位置(i,j)处收集的有序像素值集合。附加地或可选地，在一些实施例中，时间图像中位置(i,j)处的像素指纹可包括从每个相机捕获的图像集合相对于位置(i,j)在空间中的不同位置处收集的有序像素值集合。附加地或可选地，在一些实施例中，时间图像中位置(i,j)处的像素指纹可包括从每个相机捕获的图像集合相对于位置(i,j)在时间中的不同时间处收集的有序像素值集合。附加地或可选地，在一些实施例中，时间图像中位置(i,j)处的像素指纹可包括从每个相机捕获的图像集合相对于位置(i,j)在空间和时间中的不同位置处收集的有序像素值集合。