[发明专利]从一对图像中觉察3D结构的方法

说明书

相关申请的交叉引用

本申请要求于2014年7月3日提交的、题为“A Method of Perceiving 3D Structure from a Pair of Images(从一对图像中觉察3D结构的方法)”的以色列专利申请第233518号的利益，该申请的内容以全文通过引用方式合并于本文中。

技术领域

本发明涉及立体视觉系统领域。

背景技术

为了在视觉上觉察世界的三维(3D)结构，立体视觉是重要的步骤。觉察世界的3D结构的能力又是执行更高水平的视觉理解的关键步骤。这对于生物视觉系统以及计算视觉设备都是成立的。然而，两者之间的鸿沟巨大。虽然在生物系统足以解决问题，但是在计算机视觉中情况远非如此。

可以遵照多种不同的方法来从场景的一个或多个图像提取关于3D结构的信息。计算立体方法在相对于基准帧的某位置(或方向)集合处生成深度估计。对于两照相机方法，这些估计经常相对于第一照相机的坐标系给出。稀疏重构系统在可能位置中的相对小的子集处生成深度估计，其中稠密重构系统试图对于成像中的多数或全部详述生成估计。

计算立体技术通过确定显示出3D场景内的同一实体(场景对象、元件、位置或点)的两个图像中的相应像素来估计诸如深度的范围计量。给定一对相应的像素和照相机的相对位置和方位的知识，可以通过三角测量找到两个照相机射线的交叉点来估计深度。一旦计算出深度估计，输入图像的内在的和外在的照相机参数的知识用来计算绝对参考系(例如，全球定位系统(GPS)坐标)内的等同的3D位置，从而生成例如成像的每帧的3D点云，其能够转换成表面模型以便利用容积工具进一步分析。

虽然“深度”提供了2D图像与3D图像之间的直观差别，但是不必直接测量或估计深度。“差异性”是另一种当其它参数已知时在分析上等同于深度的范围计量。一般地，差异性是指一个图像中的像素与另一图像中的相应像素之间的像素位置(即，行和列位置)的差别。更确切地，差异性向量存储一对图像中的匹配像素之间的像素索引之间的差别。如果照相机位置和方位对于所处理的两个帧是已知的，则诸如对应性、差异性和深度的量保持等同的信息：可以通过三角测量法根据差异性来计算深度。

差异性向量场存储每个像素处的差异性向量，并且因此告知如何找到两个图像中的每个像素的匹配(或对应性)。当内在和外在照相机参数已知时，三角测量法将那些差异性估计转换成深度估计并且因此相对于照相机的参考系的3D位置。

在稠密计算立体中的基本过程是估计所分析的两个(或更多个)图像中的全部像素之间的对应性。该计算根本上基于像素之间的本地匹配质量的度量，仍是一个难题，并且说明了计算立体方法中的大部分的复杂度和运行时的原因。

相关技术的前述示例以及与其相关的局限性旨在示例性的，而不是穷尽的。相关技术的其它局限性将在阅读说明书和研究附图时对于本领域技术人员变得显而易见。

发明概述

下面的实施方案及其方面是结合意在示范性的、示例性的而不是限制访问的系统、工具和方法来进行说明和示例的。

一个实施方案提供了用于从一对原始图像中觉察三维(3D)结构的方法，包括以下步骤：a)对于每一个原始图像创建金字塔，其中该金字塔是一系列图像，每个图像构成了金字塔的一级，并且每个图像相对于金字塔中的前一级在每个维度上具有一半的分辨率；b)对一对原始图像的金字塔执行CTF立体匹配；c)在一对原始图像的相应级中检测(i)在CTF立体匹配中具有差结果以及(ii)具有高独特性分数的锚定器；以及d)对所述锚定器执行全穷举差异性搜索，以及将所述搜索的解扩散到所述锚定器的相邻像素。

另一实施方案提供了从一对原始图像中觉察三维(3D)结构的计算机程序产品，所述计算机程序产品包括其中存储有指令的非暂态计算机可读存储介质，当通过至少一个硬件处理器执行时，所述指令使所述硬件处理器：a)对于每一个所述原始图像创建金字塔，其中所述金字塔是一系列图像，每个图像构成了所述金字塔的一级，并且每个图像相对于所述金字塔中的前一级在每个维度上具有一半的分辨率；b)对所述一对原始图像的金字塔执行CTF立体匹配；c)在一对原始图像的相应级中检测(i)在CTF立体匹配中具有差结果以及(ii)具有高独特性分数的锚定器；以及d)对所述锚定器执行全穷举差异性搜索，以及将所述搜索的解扩散到所述锚定器的相邻像素。