[发明专利]用于提供场景的分层深度模型的方法和装置

说明书

技术领域

本发明涉及用于提供三维场景的分层深度模型的方法和装置，以及包括场景的分层深度模型的信号。

背景技术

适合于显示三维图像的显示装置正在引起人们日益增长的研究兴趣。另外还进行了实质性的研究来确定如何向终端用户提供令人满意的、高质量的观看体验。

通过向观看者的双眼提供正看的场景的不同视图，三维（3D）显示器为观看体验增加了第三维。这可通过让用户配戴眼镜以将被显示的两个视图分开来实现。然而，由于眼镜可能被认为对用户不方便，在许多情况下优选使用自由立体显示器，自由立体显示器使用显示器处的装置（如双凸透镜或屏障）来分开视图，并且沿不同方向发送它们，使得它们可以单独到达用户的眼睛。对于立体显示器，需要两个视图，而自由立体显示器一般需要更多视图（如，例如九个视图）。

为了高效地支持3D呈现，重要的是使用所生成的3D内容的适当数据表示。例如，对于不同的立体显示器，两个视图不必是相同的，而最佳的观看体验一般需要针对屏幕尺寸和观看者距离的特定组合来适配内容数据。同样的考虑往往适用于自由立体显示器。

表示三维图像的普遍方法是使用一个或多个分层二维图像加上深度表示。例如，分别具有关联的深度信息的前景和背景图像可用于表示三维场景。在本申请的上下文中，术语深度信息用于表示：指示相应图像单元到视点的距离的信息，或者在两个相应视点之间相应图像单元的视差的信息。由于视差（即图像单元在左眼与右眼视图之间的视位移）与深度成反比，两种表示中的任何一种可以作为输入用于再现分层深度模型的视图。

使用图像和深度表示所具有的几个优点在于，允许以相对低的复杂度再现二维视图，以及与存储多个视图相比，提供了高效的数据表示，从而降低了例如对三维图像（和视频）信号的存储和通信资源要求。该方法还允许以与三维表示中所包括的二维图像不同的视点和视角来生成二维图像。此外，可以容易地将所述表示适配于不同的显示配置，并且支持不同的显示配置。

当从与分层图像所表示的视角不同的视角来呈现视图时，根据前景像素的深度来偏移前景像素。这导致对于原始视角被遮蔽的区域变得可见。然后利用背景层，或者当没有适当的背景层数据时通过例如重复前景图像的像素，来填充这些区域。然而这种像素的复制可导致可见的假象。背景信息一般仅在前景图像对象的边缘周围需要，因此对于大部分内容来说是高度可压缩的。

公知的是场景的分层深度模型可以从多层简化为两层，即顶层和遮蔽层。在该模型中，遮蔽层用于避免与像素重复或背景插值相关的视觉假象。在现有技术的系统中，针对所设数目的视角，提供这样的层来用于所有可能的遮蔽区域中的一些遮蔽区域。

发明内容

问题在于，当按比例缩小这种分层深度模型时，这可导致再现期间的视觉假象。同样，对分层深度模型进行编码可导致类似的假象。在如下情形中尤其如此：例如由于在按比例缩小的分层深度模型中存在深度转变，由内容材料本身，而不是借助于（利用教科书按比例缩放技术不能适当地按比例缩小的）显式编码元数据来以隐含方式触发使用遮蔽信息。

本发明的一个目的是缓解由按比例缩小导致的这类假象。

该目的是通过一种提供场景的分层深度模型的方法来实现的，深度模型的层包括：主视图信息，用于从主观看方向看的场景的主视图；以及与主视图信息相关联的遮蔽信息，用于再现场景的其它视图，其中：主视图信息包括模型的层片段，其沿深度方向相对于主观看方向是最近的，遮蔽信息包括模型的另外的层片段，其中遮蔽信息包括与为之提供遮蔽信息的深度转变相邻的安全区域，其中安全区域包括主视图信息的对应的片段，其中安全区域位于相应的深度转变的一侧，其沿深度方向相对于主观看方向是最远的。

例如为了存储或传输的原因，对包括遮蔽数据的分层深度模型进行大小重设或压缩之后，将影响到分层深度模型、特别是遮蔽数据的表示。因此，再现装置可能不能适当地检测到深度变化。特别是当对这样的深度转变的检测被用于触发使用遮蔽信息时，这可导致明显可见的假象。

这些假象本身可以比使用诸如像素重复等常规技术更麻烦，因为由于其“闪烁”，它们通常并不是时间稳定的，因而是明显的。可替换地，大小重设可导致再现装置检测到深度变化，在按比例缩放之前没有这样的转变。然而由后一种误差导致的假象通常较不明显。

本发明有效地确定了：在安全区域，即在遮蔽信息可为之所用的深度外或邻近的区域，使该遮蔽信息与主视图信息的相同。因此，改善了在按比例缩小的信号中对深度转变的检测，这通常涉及主视图信息与遮蔽信息两者中所包括的深度值。因此，改善了触发使用有关视频内容本身的遮蔽数据的可靠性。

一般主视图信息和遮蔽信息两者均包括：