[发明专利]用于处理深度相关信息的方法、装置和系统

说明书

技术领域

本发明涉及：一种处理与图像序列关联的第一深度相关信息的方 法，包括将第一深度相关信息映射在对应的第二深度相关信息上；一 种用于处理与图像序列关联的第一深度相关信息的装置和系统，包括 将第一深度相关信息映射在对应的第二深度相关信息上；一种包括与 图像序列关联的第一深度相关信息的信号；以及一种由计算机装置所 加载的计算机程序产品，包括用于处理与图像序列关联的第一深度相 关信息的指令，包括将第一深度相关信息映射在对应的深度相关信息 上。

背景技术

随着自动立体显示器的发展，呈现三维影像而无需特殊头戴式装 置或眼镜已经变为现实。目前，自动立体显示器已经可以利用不同技 术；这些技术包括例如配备有所谓的双凸透镜箔片的平板显示器以及 配备有所谓的视差栅栏的平板显示器。

自动立体显示器提供用于生成不同观看角度的不同视图的工具。 典型地，自动立体显示器被布置为：针对观看者的左眼生成左图像， 针对观看者的右眼生成右图像。通过显示适当的图像(即分别从左眼 和右眼的视点来说是适当的)，可以将三维表示的印象传达给观看者。

多种技术可以用于创建并且/或者生成用于这些自动立体显示器 的图像。例如，对于自动立体显示器，可以使用位置对应于观看的相 应视点的多个相机来记录多个图像。可替代地，通过使用三维计算机 模型，图像可以是计算机生成的，以用于各个视图中的每一个。

然而，为了保持向后兼容性并且改进带宽用途，优选的是，使用 自动立体显示器的输入格式，其包括与传统图像序列相似的图像序列 以及伴随的深度图序列。自动立体显示器然后使用来自图像序列的图 像和对应的深度图生成所需的各个图像。

深度图典型地包括指示图像中所描述的对象与(可能虚拟的)相 机位置之间的距离的多个值。深度图可以是基于像素的，即，深度图 中的像素指示图像中像素的深度。可替代地，深度信息可以是基于对 象的，即，深度值指示多组像素的距离。

已知从使用例如立体相机获得的立体图像推导深度图。在此，点 的深度通常指的是以图像的(一组)像素所表示的对象与通过该点并 且垂直于相机的光轴的平面之间的距离。立体相机的每一视图之间的 视点的差可以用于建立深度信息。可以从对应于一个图像中的(一组) 像素的位置的平移量来确定另一图像中(一组)像素的深度值。

事实上，当通过点投影获得图像时，平移与相机的位移量成正比， 并且与(一组)像素的深度成反比。使用立体相机的两个视图，可以 生成所谓的视差图，其指示两个图像之一中(一组)像素的平移或位 移。作为前述关系的结果，这种平移位移或视差数据事实上是深度相 关信息。贯穿全文，深度相关信息应被理解为包括深度信息和视差信 息二者。

为了将立体图像转换为视差数据，可以将基于窗的匹配方法应用 于建立平移的测度。相应地，具有相机第一方位的第一图像中的像素 周围的窗中的像素值与具有第二方位的第二图像中的像素周围的窗中 的像素值进行比较。匹配在此典型地包括：确定匹配窗中像素的像素 值之间的差的总和。

在″Depth Estimation from Stereoscopic Image Pairs Assuming Piecewise Continuous Surfaces″，by L.Falkenhagen，published in Proc.of European Workshop on combined Real and Synthetic Image Processing for Broadcast and Video Production，Hamburg， November 1994中公开了一种用于使用立体图像对确定深度图的方法。

当图像序列和关联的第一深度相关信息被用作自动立体显示器的 输入时，必须由自动立体显示器或由将输入提供给自动立体显示器的 设备来生成多个视图。然而，三维显示技术倾向于具有特定技术要求。 例如，与快门眼镜(shutter glass)相比，自动立体显示器上的像素 的最大可允许平移(即视差)明显更受限。这可归因于这样的事实： 自动立体显示器中各个视图之间的串扰量明显高于立体眼镜的各个视 图。结果，需要以可以满足这些特定技术要求的方式来提供深度相关 信息。

发明内容