[发明专利]基于视点图像映射的立体视频流编码方法

说明书

技术领域

本发明属视频编码技术领域，涉及立体视频流的编码方法，尤其涉及一种基于视点图像映射(亦称立体视频匹配)的立体视频编码方法。

背景技术

自从Lukacs提出视差补偿的概念，使用视差信息建立了立体视频对之间相似区域的相互关系，基于视差估计与补偿的立体视频编码方法随之发展起来，并成为立体视频编码的一种经典技术。以块为单位进行视差估计与补偿的立体视频编码方法已经在MPEG-2标准的多视点档次中被采用。在这种方法中，编码器首先用单通道视频编码算法压缩左通道视频。对于右通道视频，每一帧左通道视频序列对应的帧基于估计的视差场进行预测，并且对视差场和预测残差图像进行编码。视差估计和补偿过程都采用基于块的方法；也就是说，对于右视图中的每个图像块，它们在左视图中寻找一个最相似的块。一个较好的方法是根据哪一个给出较小的预测误差，在相同时间的不同视图之间的视差补偿预测与相同视图的不同帧之间的运动补偿预测之间进行切换。它可用MPEG-2标准的时间可分级性模式实现，用MPEG-2的时间可分级性，把序列分成两个亚采样帧的集。基本层(比如，由偶帧组成)用单向运动补偿预测进行编码，其中参考帧是来自前面编码的偶帧。由剩余的奇帧组成的增强层用双向运动补偿预测进行编码，一个参考帧来自前面编码的奇帧，而另一个来自基本层中一个靠近的偶帧。左视图被编码为基本层，而右视图被编码为增强层。对于左视图，图像用I、B或P模式进行编码。对于B和P图像，用于预测的参考帧只来自于左视图。对于右视图，图像用P或B模式进行编码，在P模式中，图像用左视图中对应的帧作为参考帧进行预测编码。在B帧模式中，一个参考帧来自右视图中前面的一帧，而另一参考帧是左视图中对应的帧。后一种情况所用的运动矢量实际上是视差矢量，并且预测过程是视差补偿预测。这种方法的优点是可以使用许多单通道视频编码中传统运动补偿预测的方法和技术，但其编码的效率不高。

结合运动补偿等预测方法的联合预测算法，进一步提高了基于视差估计与补偿的立体视频编码方法的性能。视差估计和运动估计相似，两者都是寻找两幅图像之间的相关性，所不同的是，运动估计是针对时间上相邻的两幅图像进行的，由于时间上相邻的两幅图像之间的相关性很强，在运动估计中通常只有少量的像素点发生移动，因此运动补偿后的残差值都较小，甚至接近零值。然而，在视差估计中，左右视频通道的两幅对应图像在时间上是同步的，它们由两个摄像头在同一时间不同视场拍摄得到，因此视差估计后的残差值都较大，从而使压缩性能下降。

发明内容

本发明的目的在于提供一种克服了基于视差估计与补偿的立体视频编码方法编码的效率低，以及联合预测算法的视差估计后的残差值较大、压缩性能下降等弊端的基于视点图像映射(亦称立体视频匹配)的立体视频流编码方法。

本发明是在常规立体视频流编码方法的基础上，在对立体视频流的双目视点图像进行编码之前增加一个映射过程，利用双目立体视频流的特点，将第一视点图像像素信息映射到第二视点，得到映射图像，然后对映射图像和第二视点图像用常规的立体视频编流码方法进行编码。

本发明的基于视点图像映射的立体视频流编码方法由下列步骤组成：

1.将立体视频流第一视点图像像素信息映射到第二视点，得到映射图像；

2.对映射图像和第二视点图像进行立体视频流编码。

以上所述的将立体视频流第一视点图像像素信息映射到第二视点，得到映射图像由下列步骤实现：

a.设p₁(u₁，v₁)为双目立体视频流第一视点图像中的点的图像坐标，p₂(u₂，v₂)为p₁映射到第二视点图像中的点的图像坐标，P(X_w，Y_w，Z_w)为二者对应的空间点(世界坐标系中的同一点)，根据针孔成像模型，世界坐标系中的点P与其分别在双目视点图像中的投影点p₁和p₂用齐次坐标表示的关系式为：