[发明专利]用于图像的立体匹配的系统和方法

说明书

技术领域

本公开大体上涉及计算机图形处理和显示系统，更具体而言涉及用于 至少两个图像的立体匹配(stereomatching)的系统和方法，该系统和方法 采用了一种全局优化函数，该函数利用了动态编程作为预处理步骤。

背景技术

立体成像是这样一个过程：在视觉上组合从略微不同的视点拍摄的一 场景的至少两个图像，以产生三维深度的错觉。此技术依赖于这样一个事 实，即，人眼之间间隔有某一距离，因此不会观看到完全相同的场景。通 过向每只眼睛提供来自不同视角的图像，使观看者的眼睛误以为感觉到深 度。通常，当提供两个不同的视角时，成分图像被称为“左”图像和 “右”图像，分别也称为基准图像和补充图像。然而，本领域的技术人员 将会认识到，可以组合多于两个视点来形成立体图像。

在3D后期制作、视觉效应(VFX)工作流和三维(3D)显示应用 中，一个重要的过程是从由左眼视图图像和右眼视图图像构成的立体图像 推断出深度图。例如，最近面市的自动立体3D显示器要求图像加深度图 的输入格式，以便显示器能够生成不同的3D视图来支持多个视角。

从立体图像对推断出深度图的过程在计算机视觉研究领域中被称为立 体匹配，因为像素或区块匹配被用于找出左眼视图图像和右眼视图图像中 的对应点。根据图像中的与场景中的同一点相对应的两个像素之间的相对 距离来推断出深度值。

数字图像的立体匹配被广泛用于许多计算机视觉应用中(例如，用于 计算机辅助绘图(CAD)的快速对象建模和原型制作、用于人机交互 (HCI)的对象分割和检测、视频压缩、以及视觉监控)，以提供3D深度 信息。立体匹配从定位在场景中的不同位置和方向处的两个或更多个相机 获得场景的图像。这些数字图像是大致同时从每个相机获得的，并且与空 间中的3D点相对应的每个图像中的点被匹配。一般地，通过搜索图像的 一部分并且利用约束(例如外极约束)将一个图像中的一点与另一图像中 的一点关联起来，从而来匹配来自不同图像的点。

关于立体匹配已经有大量在先工作。立体匹配算法可被分类成两个类 别：1)在局部优化的情况下匹配，以及2)在全局优化的情况下匹配。局 部优化算法只考虑像素强度差别，而忽略深度值的空间平滑性。因此，深 度值在平坦区域中经常是不精确的，并且诸如空洞之类的不连续伪影经常 可见。全局优化算法基于像素强度差别和深度图的空间平滑性两者来找出 最优深度图；从而，全局优化算法大大改善了精确性以及所得到的深度图 的视觉外观。

全局优化的主要局限在于计算速度低。在全局优化方法这一类中，动 态编程与诸如信任传播和图切割之类的更精细算法相比是相对迅速的方 法，因为只实施水平平滑。然而，动态编程经常导致所得到的深度图中的 垂直不连续，从而产生扫描线伪影(参见图5B，其中扫描线伪影被圈了 起来)。信任传播是更先进的优化技术，其在水平和垂直方向上都实施平 滑，但是它消耗的计算力比动态编程方法多得多。

因此，需要用于使不连续伪影达到最低限度的快速且高效的全局优化 立体匹配方法的技术。

发明内容

提供了一种用于对至少两个图像(例如，立体图像对)进行立体匹配 的系统和方法，该系统和方法采用了全局优化函数，例如信任传播算法或 函数，该函数利用动态编程作为预处理步骤。本公开的系统和方法包括从 一场景获取第一图像和第二图像，估计第一图像中的至少一个点与第二图 像中的至少一个对应点的差异(disparity)，并且利用信任传播函数(例 如，全局优化算法或函数)来最小化所估计的差异，其中，利用被应用到 第一和第二图像的确定性匹配函数的结果来初始化信任传播函数，以加速 信任传播函数。该系统和方法还根据第一图像中的至少一个点中的每一个 与第二图像中的至少一个对应点的估计差异生成差异图，并且通过对差异 图的差异值取倒数来将差异图转换成深度图。深度图或差异图随后可结合 立体图像对用于3D重放。

根据本公开的一个方面，提供了一种对至少两个图像进行立体匹配的 方法，包括：从一场景获取第一图像和第二图像，估计第一图像中的至少 一个点与第二图像中的至少一个对应点的差异，并且利用信任传播函数来 最小化所估计的差异，其中信任传播函数是利用被应用到第一图像和第二 图像的确定性匹配函数的结果来初始化的。第一图像和第二图像包括一立 体对的左眼视图和右眼视图。

在一个方面中，确定性匹配函数是动态编程函数。