[发明专利]用于图像处理的装置和方法

说明书

技术领域

本发明涉及用于图像处理的装置、方法和计算机程序。

背景技术

这部分旨在提供在权利要求书中陈述的本发明的背景或上下文。此处的描述可以包含可以被追求的构思，但该构思不是必须是先前已设想或追求的构思。因此，除非此处另外指出，否则这部分所述的内容不是本申请中的说明书和权利要求书的现有技术，并且不通过被包含在这部分中而承认其为现有技术。

当前正在研究和开发用于提供三维(3D)视频内容的各种技术。在各种多视角(multiview)应用上，观看者从特定的视点能够看到仅一对立体视频，以及从不同的视点看到另一对立体视频。在一些方法中，仅有限数量的输入视图，例如单一(mono)或立体视频加上一些补充数据，被提供给解码器侧，以及所有要求的视图于是由该解码器本地地渲染(即合成)以在显示器上显示。

在3D视频内容的编码中，能够使用视频压缩系统，诸如高级视频编码标准H.264/AVC或H.264/AVC的多视角视频编码MVC扩展。

可以由两个水平对齐和同步的相机来执行立体视频的捕获。相机的光学中心之间的距离被称为基线距离。立体对应性指的是在两个相机中反射相同场景点的像素。知道相机参数、基线和对应点，能够通过应用例如三角测量类型的估计来找到场景点的三维(3D)坐标。针对两个相机图像中的所有像素应用相同的过程，能够获得密集的相机中心距图(深度图)。它提供了场景的3D地理模型以及能够在许多3D视频处理应用(诸如编码、再利用、虚拟视图合成、3D扫描、对象检测和识别、在真实场景中嵌入虚拟对象(增强现实)等中使用。

在多视角应用中，可以有超过两个相机，可以在逻辑上将它们布置成多对相机。因此，可以由这些相机捕获相同场景，给予提供来自相同场景的不同视角的立体视频的可能性。

在深度图估计中的问题是如何可靠地找到两个相机视图中的像素之间的对应性。通常，可以矫正相机视图，以及对应性被限制为在水平线中出现。此类对应性被称为视差。找到视差图的过程(在两个矫正的图像视图的像素之间的对应性)被称为立体匹配。一些立体匹配方法受制于一些面向应用的约束来应用局部或全局优化准则以处置在真实世界立体图像中的特定问题。

许多立体匹配算法搜索视差范围内的匹配。针对任意立体图像的正确视差搜索范围的选择可能是个问题，尤其是在真实世界和室外应用(其中手工范围选择可能是相当不切实际的)的情况下。太窄的搜索范围选择可能导致不希望的估计视差的质量降级。同时，针对立体匹配的非常宽(例如，无约束)的范围可能增加不必要的计算复杂度。取决于所寻求的视差级别(假设)的数量，现代立体匹配技术的复杂度可以是线性的。即使使用预先选择的视差范围，在场景捕获期间(例如，立体摄影或视频拍摄)，场景可以变化，因此改变所使用(预先选择的)视差范围。

发明内容

本发明涉及用于图像处理的装置、方法和计算机程序，其中图像对可以被下采样到较低分辨率的图像对，以及还获得表示在该图像对中的像素的至少子集之间的估计视差的视差图像。可以获得视差估计的置信度并将它插入到置信图中。可以通过使用像素位置的空间邻域对视差图像和置信图进行联合过滤以获得过滤的视差图像和过滤的置信图。可以通过过滤的视差图像和置信图来获得该图像对的估计视差分布。

一些实施例提供用于矫正立体视频内容的自动的、独立于内容的视差范围选择算法。

本发明的一些实施例使用金字塔方法。然而，不是仅使用针对视差范围确定的置信度，可以应用针对高效异常值移除的第一视差估计和置信图的空间过滤。因此，可以需要仅很少层。在一些示例实施例中，可以使用仅两层金字塔。

在以下，简要呈现根据本发明的一些实施例的视差范围估计中的一些特征。

可以使用常数复杂度的绝对误差和(SAD)匹配，其允许对计算复杂度没有影响或仅较小影响来改变匹配窗口大小。

替代很少层的金字塔，可以使用单个下采样步骤。这可以导致可预测性和稳定的过程行为。还可能的是，通过改变下采样因子来调节计算速度。

对初始视差估计的合适的空间过滤可以用于更好的异常值移除。

可以使用没有应用于连续视频帧的特定时间过滤的时间对应性假设。

本发明的各种方面包含：方法、装置、计算机程序、编码器和解码器，它们的特征在于在独立权利要求中阐述的内容。在从属权利要求中公开了本发明的各种实施例。

根据第一方面，提供了一种方法，所述方法包括：

将输入图像对下采样为一对较低分辨率的第一图像和第二图像，