[发明专利]产生基于块的立体图像格式的方法和设备以及从基于块的立体图像格式重构立体图像的方法和设备

说明书

技术领域

与本发明一致的方法和设备涉及产生立体图像格式和重构立体图像，更 具体地，涉及产生基于块的立体图像格式以便有效率地压缩或发送包括基本 视点(base view)图像和附加视点图像的立体图像，以及从基于块的立体图像格 式重构立体图像。

背景技术

提出了用于发送立体图像的多种方法。例如，为了立体图像的有效率发 送，已经建立了各种标准，例如，运动图像专家组(MPEG)-2多视点视频类 (MVP)，使用MPEG-4多辅助部件(MAC)的深度图发送、MPEG-4先进视频 编码(AVC)/H.264的多视点视频编码(MVC)等。

然而，这些标准格式与现有的二维(2D)编解码器不兼容。其结果是，当 使用标准格式发送立体图像时，现有技术2D再现装置的用户不能通过对接 收的数据解码而重构立体图像。另外，可以预料到，在现有信道容量条件下 使用标准格式发送三维(3D)图像会有很多问题。

因此，已经开发了在将立体图像组合为一片组合图像格式之后发送立体 图像的技术。并排(side-by-side)方案和上-下(top-bottom)方案是这些技术中的 代表性示例。前者将左视点图像和右视点图像的每一个的水平像素的数量减 少了1/2，并将缩减的左视点图像和缩减的右视点图像分别放置在一片组合图 像的左部和右部。后者将左视点图像和右视点图像的每一个的垂直像素的数 量减少1/2，并将缩减的左视点图像和右视点图像分别放置在一片组合图像的 上部和下部。

然而，使用这些方案发送的组合图像的分辨率为缩减处理期间的原始左 视点图像和右视点图像的分辨率的1/2。因此，现有技术2D再现装置仅显示 左图和右图的每一个的一半，这可能使观看者感到不快。另外，立体图像的 左视点图像和右视点图像之间的相关性在组合图像的压缩或发送期间没有被 考虑，造成压缩效率的降低。

还可通过基于像素组合左视点图像和右视点图像来产生一片图像格式。

图1A示出现有技术的基于像素的用于立体图像的发送的立体图像格式。

在图1A中，立体图像的左视点图像和右视点图像的像素被基于纬线采 样，左视点图像以这样的方式被移动一个像素：左视点图像和右视点图像之 间的重叠被避免，从而产生了用于立体图像的一片图像格式。使用现有技术 的2D编码器和解码器发送和接收立体图像。由于两片左视点图像和右视点 图像被生成为相同分辨率的一片立体图像，因此一些像素可能丢失。

图1B是用于恢复基于像素的立体图像格式的丢失像素的设备的框图。

为了使显示装置再现具有原始分辨率的图像，必须恢复在图1A中示出 的立体图像格式的产生期间丢失的像素。为此，从基于像素采样的图像提取 每个方向的像素值，将预定权重值应用于每个像素值，将加权的像素值求和， 从而重构原始的左视点图像和右视点图像。

对于立体图像的发送，可基于场产生图像格式。

图2A示出现有技术的基于场的立体图像格式。在图2A中，输入的左视 点图像和右视点图像被按直线以垂直方向布置，并随后被转换为基于场的格 式(包括上部场和下部场)进行发送和接收。

图2B是用于基于场的立体图像格式的现有技术的发送端和接收端。

参照图2B，示出了用于产生立体图像格式并对立体图像格式编码的立体 图像预处理器以及用于对接收的立体图像格式解码以重构立体图像的立体图 像后置处理器。由MPEG编码器压缩被转换为基于场格式的左视点图像和右 视点图像。由于除了MPEG-1的MPEG标准都支持基于场的压缩，因此MPEG 标准在基于块的离散余弦变换(DCT)、运动估计和视差估计期间保持了压缩效 率。

在图1A示出的基于像素的立体图像格式中，基于像素组合左视点图像 和右视点图像以便产生一片图像格式。其结果是，由于像素之间的低相关性， 根据视频标准(例如，联合图像专家组(JPEG)、MPEG、H.26X等)的DCT 编码器的性能和压缩效率降低。另外，没有为立体图像预处理器或立体图像 后置处理器定义包括图1A和图2A中示出的格式的现有技术图像格式。其结 果是，当对立体图像格式解码时，一个接一个地显示左视点图像和右视点图 像，这造成观看者经历严重的闪烁效果。

发明内容

技术方案