[发明专利]用于生成、存储、传送、接收和再现深度图的方法和设备

说明书

本公开内容涉及用于生成、存储、传送、接收和再现深度图的方法和设备。描述了一种用于通过从至少一个深度或视差图(DM1、DM2)开始而生成由多个分量(Y、U、V)构成的颜色图像的方法，其中，所述至少一个深度或视差图(DM1、DM2)的第一组像素输入到所述颜色图像的亮度分量(Y)中，并且其中，所述至少一个深度或视差图(DM1、DM2)的第二组和第三组像素输入到所述颜色图像的两个色度分量(U、V)中。

技术领域

本发明涉及用于通过使用属于三维视频流的图像的颜色分量生成、存储、传送、接收和再现深度图(depth map)的方法和设备。

背景技术

立体视频应用的发展在很大程度上依赖于用于表示和压缩三维视频信号的高效格式的可用性。而且，在电视广播应用(3D-TV)中，有必要保持与现有2D系统的最大可能程度的向后兼容性。

对于分布(或传送)来说，当前最广泛的技术方案基于所谓的“帧兼容步置”，其中，与同一时间点有关的两个立体视图被重新扩缩并构造以形成与现有格式兼容的单个图像。在这些方案中，顶底(top-and-bottom)格式、并排(side-by-side)格式和平铺(tile)格式是已知的。这些方案允许使用整个现有视频信号分布构架(陆地、卫星或电缆广播、或者IP网络上的流处理)，并且不需要用于压缩视频流的新标准。另外，当前的AVC/H.264编码标准(先进视频编码)和将来的HEVC标准(高效率视频编码)已包括用信号通知这种类型的组织以允许通过接收器的适当的重构和可视化的可能性。

对于显示来说，两个当前最广泛的技术方案基于“帧交替”原理(即在屏幕上在时间上接连呈现两个视图)或“线交替”原理，即两个视图以交替的行(即它们是“交错”的)布置在屏幕上。在两种情况下，对于接收对应视图的每只眼睛，观众需要使用一副眼镜，眼镜可以是帧交替情况下的“主动式”眼镜(即快门式眼镜)，或者可以是线交替情况下的“被动式”眼镜(即具有以不同方式偏光的透镜)。

三维可视化的未来将由不需要用户配戴任何眼镜(不管是主动式还是被动式眼镜)的新的自立体屏幕的扩散而确定。这些当前仍处于原型阶段的3D显示设备基于视差透镜或屏障的使用，视差透镜或屏障可导致对于用户在围绕屏幕有角度地移动时可处于的各视点，观察者察觉到两个不同的立体视图。因此，这些设备可改善3D视觉体验，但它们需要生成大量的视图(几十倍)。

关于3D视频表示，管理大量视图的产生和分布是非常费力的任务。近年来，科学团体已经评估通过使用利用所谓的场景深度图的已知的基于深度图像的绘制(DIBR)技术创建任意大量的中间视图的可能性。这些格式也称为“视频+深度”(V+D)，其中，各视图由稠密深度图伴随。稠密深度图是其中平面坐标(x，y)(即列行)中的各像素表示深度值(z)的图像，深度值(z)与相应视图的具有相同坐标的像素相对应。通过从由立体视频摄像机获得的两个视图开始可计算深度图的值，或者由适当的传感器可对它们进行测量。一般通过使用具有通过使用标准技术压缩的256个灰度级的图像表示这样的值。基于深度图像的绘制技术利用这样的事实，即，给定坐标(x，y，z)--即深度平面中的位置加上与各像素相关联的深度，可以将像素重新投影到与新的视点有关的另一图像平面(image plane)上。最广泛的应用上下文是立体视频摄像机的系统，其中，两个视频摄像机以它们两个光学中心之间的距离b而水平放置，具有平行的光轴和共平面的图像平面。在这样的配置中，在与一个像素相关联的深度z与所谓的视差(disparity)d——即为了获得在左(或右)视频摄像机的图像平面中的对应位置必须施加于右(或左)视频摄像机的图像的像素的水平平移——之间存在简单的关系。根据所考虑的视频摄像机，视差可以为正或负(向左或右的平移)。用f指示两个视频摄像机的焦距，在深度z与视差d之间存在以下的关系：

d＝f b/z。