[发明专利]利用启发式视图合并的视图合成

说明书

相关申请的交叉参考

本申请要求(1)2008年9月19日提交的美国临时申请61/192,612号标题为“用于3DV应用的利用边界泼溅与启发式视图合并的视图合成”以及(2)2008年8月29日提交的美国临时申请61/092,967号标题为“用于3D视频(3DV)应用的带有适应性泼溅的视图合成”的权益。这两篇美国临时申请的内容全部并入作为参考。

技术领域

所描述的实施方式涉及编码系统。各种特定的实施方式涉及用于3D视频(3DV)应用的具有启发式视图合并的视图合成。

背景技术

三维视频(3DV)是一种包括多视图视频的编码表示和深度信息并且目的在于例如在接收器处生成高质量的3D渲染的新的架构。这使得自动立体显示、自由视点应用和立体显示的3D视觉体验成为可能。需要更进一步的技术来生成额外的视图。

发明内容

根据一个总体的方面，来自于第一变形的参考视图的第一候选像素和来自于第二变形的参考视图的第二候选像素是基于后向合成过程、在所述第一和第二候选像素周围的空洞分布、或者在所述第一和第二候选像素周围超过规定的频率的能量的量其中的至少一个来评估所述第一和第二候选像素的质量的。所述评估是作为将所述第一和第二变形的参考视图合并成单个的合成视图的一部分。基于所述评估，为所述单个的合成视图中的给定的目标像素确定一个结果。

在下面的附图和说明书部分详细解释一个或多个实施方式的细节。即使是以一种特殊方式来描述实施方式，应当清楚的是，可以以各种方式配置或者体现实施方式。例如，一种实施方式可以用方法的方式来执行，或者体现为诸如例如是被配置来执行一组操作的设备或者是存储用于执行一组操作的指令的设备之类的设备，或者体现为信号。从接下来的详细描述结合附图和权利要求会容易理解其它方面和特征。

附图说明

图1A是未矫正的视图的合成的实施方式的图示。

图1B是矫正的视图的合成的实施方式的图示。

图2A是视图合成器实施方式的图示。

图2B是图像合成器实施方式的图示。

图3是视频发送系统实施方式的图示。

图4是视频接收系统实施方式的图示。

图5是视频处理装置实施方式的图示。

图6是用于发送和接收具有深度信息的多视图视频的系统的实施方式的图示。

图7是视图合成和合并过程的实施方式的图示。

图8是应用深度、空洞分布和摄像机参数的合并过程的实施方式的图示。

图9是应用深度、后向合成误差和摄像机参数的合并过程的实施方式的图示。

图10是应用深度、后向合成误差和摄像机参数的合并过程的另一个实施方式的图示。

图11是应用高频能量的合并过程的实施方式的图示。

具体实施例

一些三维视频(3DV)应用对输入视图有严格的限制。输入视图通常必须得到很好的矫正，使得一维(1D)视差(disparity)可以描述如何将像素从一个视图置换到另一个视图。

基于深度图像的渲染(DIBR)是一种使用从多个校准后的摄像机捕捉的多个图像以及相关联的逐像素深度信息的视图合成技术。从概念上讲，这种视图生成方法可以理解为是一个两步骤的过程：(1)3D图像变形(imagewarping)；和(2)重建和再取样。关于3D图像变形，使用深度数据和相关联的摄像机参数将来自于参考图像的像素反投影到适当的3D位置，并重新将它们投影到新的图像空间。关于重建和再取样，同样涉及确定合成视图中的像素值。

所述渲染方法可以是基于像素的泼溅或者是基于网格的(三角形的)。对于3DV，逐像素深度典型的是用诸如立体之类的被动式计算机视觉技术来估计，而不是从激光测距扫描或者计算机图形模型生成的。因此，对于3DV中的实时处理，在只给定有噪声的深度信息时，基于像素的方法应当是优选的，以避免复杂性和生成耗费计算的网格，因为鲁棒的3D三角剖分(triangulation)(表面重建)是困难的几何问题。

现有的泼溅算法达到了一些令人印象非常深刻的结果。但是，它们被设计来与高精度的深度一起使用，对低质量深度而言，它们可能不是充分的。另外，很多现有的算法将诸如逐像素垂直面或者三维点云之类3DV中不存在的技术方面视为理所当然。这样，需要新的合成方法来处理这些具体问题。