[发明专利]利用运动补偿进行图像的深度提取的系统和方法

说明书

技术领域

本公开一般地涉及计算机图形处理和显示系统，并更具体地涉及一种利用正向和反向深度预测进行图像的深度提取的系统和方法。

背景技术

立体成像是在视觉上组合一个场景的从稍微不同的视点取得的至少两个图像以便产生三维(“3D”)深度的错觉的处理。该技术依赖于如下事实：人眼间隔一定距离，并且因此没有观看完全相同的场景。通过为每只眼睛提供来自不同观察点(perspective)的图像，欺骗观看者的眼睛感觉到深度。典型地，在提供两个有区别的观察点的情况下，分别将组成图像称为“左侧”和“右侧”图像，也分别将其已知为基准图像和补充图像。然而，本领域技术人员将认识到，可以组合多于两个视点来形成立体图像。

在3D后期制作、视觉效果(VFX)工作流程和3D显示应用中，一项重要的处理是从由左眼视图图像和右眼视图图像组成的立体图像中推断深度图。例如，最近商业化的自动立体3D显示器要求图像加深度图(image-plus-depth-map)输入格式，使得该显示器可以生成不同的3D视图来支持多个视角。

根据立体图像对推断深度图的处理在计算机视觉研究的领域中被称为立体匹配，因为使用像素或块匹配以发现左眼和右眼视图图像中的对应点。新近，推断深度图的处理在3D显示团体中也通常被已知为深度提取。根据各图像中与场景中的相同点对应的两个像素之间的相对距离推断深度值。

在众多计算机视觉应用(诸如，例如用于计算机辅助绘图(CAD)的快速对象建模和原型成型、用于人机交互(HCI)的对象分割和检测、视频压缩和视觉监控(visual surveillance))中广泛使用数字图像的立体匹配，以便提供三维(3D)深度信息。立体匹配从场景中位于不同位置和朝向的两个或多个摄像机(camera)获得场景的图像。在大约相同的时间从每个摄像机获得这些数字图像，并且对应于空间中的3D点来匹配每个图像中的点。通常，通过搜索一部分图像和使用约束(诸如核线约束)来匹配来自不同图像的点，以便使一个图像中的点与另一图像中的点相关联。

关于深度图提取已经进行了实质性的工作。关于深度提取的大部分先前工作集中在单个立体图像对上而不是在视频上。然而，视频取代图像成为消费电子界的主导媒体。对于视频而言，采用立体图像对的序列而不是单个图像对。在常规技术中，向每个帧对应用静止深度提取算法。在大多数情形下，输出深度图的质量对于3D回放是足够的。然而，对于具有大量纹理的帧而言，可以看见时间性的(temporal)抖动伪像，这是因为深度图在时间方向上(即，在图像对序列的时间段中)未精确地对齐。常规系统已经提出通过在图像序列上强制平滑度约束而使深度图提取处理沿时间方向稳定。然而，如果存在场景的大的运动，则不得不考虑对象的运动以便沿时间方向精确地预测深度图。

因此，存在对于使深度图提取处理沿时间方向稳定以减少时间性的抖动伪像的技术的需求。存在用于考虑在时间上或者在图像序列上的对象运动的深度图提取的技术的进一步需求。

发明内容

提供了一种利用正向和反向深度预测进行图像的时空深度提取的系统和方法。本公开的系统和方法在考虑对象运动的同时使深度图提取处理沿时间方向稳定，这导致了高精确度的深度图。

根据本公开的一方面，提供了一种将至少两个图像进行立体匹配的方法。该方法包括：从场景获取第一图像和第二图像的序列，所述序列包括第一图像和第二图像的多个连续帧；对至少一个帧估计第一图像中的至少一个点与第二图像中的至少一个对应点的视差；估计第一图像中的至少一个点从至少一个帧到至少下一连续帧的运动；在序列的第一方向中基于所估计的至少前一帧的视差来估计至少下一连续帧的视差，其中利用所估计的运动来补偿所估计的至少下一连续帧的视差；并且在序列的第二方向中基于所估计的至少前一帧的视差使所估计的多个连续帧中的每一连续帧的视差最小化。第一图像包括立体对的左眼视图图像而第二图像包括立体对的右眼视图图像。

根据本公开的另一方面，提供了一种将至少两个图像进行立体匹配的系统。该系统包括：用于从场景获取第一图像和第二图像的部件，序列包括第一图像和第二图像的多个连续帧；运动补偿器，用于估计第一图像中的至少一个点从至少一个帧到至少一个连续帧的运动；以及视差估计器，被配置为对于至少一个帧估计第一图像中的至少一个点与第二图像中的至少一个对应点的视差，在序列的第一方向中基于所估计的至少前一帧的视差来估计至少下一连续帧的视差，其中利用所估计的运动来补偿所估计的至少下一连续帧的视差，并且在序列的第二方向中基于所估计的至少前一帧的视差使所估计的多个连续帧中的每一连续帧的视差最小化。