[发明专利]立体元图像多等级混合预测编码结构

说明书

技术领域

本发明属于立体视频编码技术领域。

背景技术

目前主流的显示技术大都局限于二维平面的显示，图像缺乏立体感、深度感和真实感。与二维显示相比，立体显示恢复了投影时失去的深度信息，在屏幕上能呈现三维的立体影像，其信息量更大，感染力更强。立体显示技术主要有两类：利用两眼视差的立体显示方法、真实立体显示方法。第一类方法容易实现而且成本较低，但一般需要佩戴特殊的光学眼镜才能观看立体影像而且容易引起视觉疲劳。第二类方法主要有三种：全息术、体显示技术、组合真实立体显示技术。相对于时空分辨率受限的全息术与体显示技术，组合真实立体显示技术利用昆虫的复眼结构的成像原理，不仅可以提供在一定视角范围内的连续视点，而且显示的三维影像立体感突出，透视关系明确，显示画面的大小仅取决于所采用的平板显示器的尺寸。

组合真实立体显示技术主要由立体影像的采集子系统和立体影像的显示子系统组成。通过采集(编码)镜头矩阵，把三维物体的空间信息记录在记录媒体上，每一个子镜头单元在记录媒体上记录的图像单元称之为立体元图像。将记录有三维物体空间信息的立体元图像经过一定的转换，在高清晰度的平板显示器上进行显示，再通过一组与采集镜头矩阵有一定比例关系的显示(解码)镜头矩阵进行光学解码，就可以在空间上形成与被采集的三维物体具有相同表面特征的立体影像。

表现出一定分辨率下的三维场景需要采集大量的不同深度视角的立体元图像，因此为了实现在多媒体设备中的存储和在网络中的实时传输，需要对立体元图像进行压缩编码。最直接的编码方法是采用传统的静止图像压缩方法如JPEG与JPEG2000。对于立体元图像，除了其内部像素点之间存在相关性，相邻的立体元图像之间也存在很强的相关性，这种相关性的分布正是立体元图像与一般二维图像的主要区别。静止图像压缩方法没有利用立体元图像之间的相关性，所以其在立体效果传输方面还不成熟。如何利用立体元图像之间的相关性，将大量的数据进行高效地压缩编码成为了未来组合立体视频系统走向实用化的关键。

目前，国内对立体元图像编码的研究还没有报道，国外在这方面的研究也处于刚刚起步阶段。现有的立体元图像编码方法主要分为两种，一种是基于三维离散余弦变换或二维小波变换的编码方法，另一种是将所有的立体元图像重新排列成单视点视频序列，然后采用单视点视频的预测编码结构，通过MPEG或H.264进行编码。比较而言，第二种方法可以获得更高的编码效率。然而，这种方法在重新排列立体元图像的过程中改变了每个图像的空间位置，这在一定程度上降低了图像之间的相关性；另外，在单视点视频预测编码结构中，预测编码的方向是一维的，参考图像数量最多时只能达到两个，所以，编码效率受到了预测编码结构的限制。

发明内容

本发明的目的是提供一种用于立体元图像编码的多等级混合预测编码结构，在不改变每个立体元图像的空间位置的同时，使大多数的立体元图像可以拥有更多的参考图像用于预测编码，从而提高编码效率。

本发明的具体结构如下：

1.将立体元图像分为两种，包括关键图像和非关键图像；以关键图像为基准将立体元图像阵列分为二维的图像组阵列；关键图像采用图像内预测进行编码，非关键图像根据其在相应图像组内的位置选择不同的预测模式进行编码。

2.关键图像和非关键图像，是将立体元图像阵列中在行和列方向上相隔一定距离的部分立体元图像选为关键图像，余下的立体元图像作为非关键图像。

3.以关键图像为基准将立体元图像阵列分为二维的图像组阵列由下列具体步骤实现：一个关键图像、所有处于此关键图像与行和列方向上的前一个关键图像之间的非关键图像，以及所有处于由上述非关键图像包围的区域中的非关键图像，组成一个图像组；在图像组阵列中，第一列图像组的大小为P×1，其余列的图像组的大小为P×Q；

其中：P为每个图像组的行数，Q为每个图像组的列数。

4.非关键图像根据其在相应图像组内的位置选择不同的预测模式进行编码由下列具体步骤实现：在每个图像组中，对于包含关键图像的行，所有的非关键图像采用列间预测进行多等级编码；对于包含关键图像的列，所有的非关键图像采用行间预测进行多等级编码；余下的非关键图像采用行间与列间联合预测进行多等级编码。