[发明专利]深度图处理

说明书

对于以MVD(多视图+深度)格式表示的多视图视频内容，可以处理深度图以改进它们之间的连贯性。在一种实施方式中，为了基于输入视图处理目标视图，首先将输入视图的像素投影到世界坐标系中，然后投影到目标视图中以形成投影视图。比较投影视图的纹理和目标视图的纹理。如果一像素处的差值很小，则调整该像素处的目标视图的深度，例如，替换为投影视图的对应深度。当在系统中对多视图视频内容进行编码和解码时，可以在预处理和后处理模块中应用深度图处理，以改进视频压缩效率和渲染质量。

技术领域

本实施例总体上涉及一种用于深度图处理的方法和设备，更具体地，涉及一种用于处理与以MVD(多视图+深度)格式表示的多视图视频内容相关联的深度图的方法和设备。

背景技术

MVD是一种用于传输多视图内容(来自多个相机的多个视图)的格式，每个视图具有关联深度图。当以MVD格式表示多视图视频时，对于每个视图画面，纹理图像与深度图相关联，例如，以相同的像素分辨率。深度图可以通过不同的方法生成，例如通过计算或测量。MVD是用于扩展HEVC(高效视频编码)以压缩多个视图和关联深度信息的输入格式。这种格式也可能是H.266/VVC(通用视频编码)的未来扩展的输入格式，以解决未来的6DoF(六自由度)内容，例如MPEG当今称为“窗口化6DoF”的内容。

发明内容

根据实施例，提供了一种视频处理方法，包括：访问多视图视频内容的第一视图和第二视图；将所述第一视图中第一位置处的第一像素投影到所述第二视图中的第二位置上；确定(1)所述第一视图的所述第一像素的纹理信息与(2)所述第二视图中所述第二位置处的第二像素的纹理信息之间的差值；和响应于所述差值，基于所述第一视图的所述第一像素的深度值，调整所述第二视图的所述第二像素的深度值。

根据另一实施例，提供了一种用于视频处理的设备，包括一个或多个处理器，其中所述一个或多个处理器被配置为：访问多视图视频内容的第一视图和第二视图；将所述第一视图中第一位置处的第一像素投影到所述第二视图中的第二位置上；确定(1)所述第一视图的所述第一像素的纹理信息与(2)所述第二视图中所述第二位置处的第二像素的纹理信息之间的差值；和响应于所述差值，基于所述第一视图的所述第一像素的深度值，调整所述第二视图的所述第二像素的深度值。该设备还可包括耦合到所述一个或多个处理器的一个或多个存储器。

根据另一个实施例，提供了一种用于视频处理的设备，包括：用于访问多视图视频内容的第一视图和第二视图的部件；用于将所述第一视图中第一位置处的第一像素投影到所述第二视图中的第二位置上的部件；确定(1)所述第一视图的所述第一像素的纹理信息与(2)所述第二视图中所述第二位置处的第二像素的纹理信息之间的差值；和响应于所述差值，用于基于所述第一视图的所述第一像素的深度值、调整所述第二视图的所述第二像素的深度值的部件。

附图说明

图1图示了用于编码和解码多视图视频内容的系统。

图2图示了16相机阵列。

图3图示了来自视图的纹理图像及其关联深度。

图4图示了根据实施例的处理深度图的处理。

图5图示了世界坐标系和相机坐标系以及对应的转换矩阵。

图6图示了输入视图到目标视图上的前向投影。

图7图示了可以在其中实现本实施例的方面的系统的框图。

具体实施方式

为了提供运动视差，多视图内容应该足够密集以在视图之间提供足够的重叠，但具有不同的视角以允许这种视差。这意味着不同相机捕获的大量信息对应于场景的同一部分。这是压缩算法用来减少要传输的数据量的一个要素。在HEVC的3D-HEVC和MV-HEVC扩展中，已经引入了视图间预测。当时，多视图系统大多被认为是仅水平系统，并且预测机制仅利用水平方向。现在相机阵列不再仅仅是水平的，而是更多地处于2D(平面)甚至3D(非平面)排列中。