[发明专利]基于帧率转换的立体视频非对称编码方法和装置

说明书

技术领域

本发明涉及计算机视觉和视频处理技术领域，特别涉及一种基于帧率转换的立体视频非对称编码方法和装置。

背景技术

立体视频是当前计算机视觉、图形学、图像视频处理等学科领域的研究热点，被广泛应用于影视制作、文物保护、军事模拟等领域。多视点立体视频数据由色彩、纹理、运动、深度等多维信息构成。其中深度信息的存在，能使人脑重构出场景的深度信息，立体视频与单目视频相比在视觉上具有强烈的真实感与沉浸感。

但是，由于立体视频存在至少两个视频通道，导致数据量也是单目视频的至少两倍，即使通过现有方法对立体视频进行压缩，其数据量还是很高，使压缩后的立体视频在传输上还是会占用大量带宽，导致传输堵塞，而带宽不可无限制的增大，为了利用有限的网络带宽完成大数据量的图像传输，有效的视频压缩技术开始成为国内外研究的热点之一，所以如何解决立体视频的高效压缩问题显得尤为重要。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的一个目的在于提出一种基于帧率转换的立体视频非对称编码方法，该方法对双目立体视频的编码数据量更小，利于网络传输，减少带宽的压力。另外，该方法能够解码出完整的双目立体视频序列，避免丢帧。

本发明的另一目的在于提出一种基于帧率转换的立体视频非对称编码装置，该装置对双目立体视频的编码数据量更小，利于网络传输，减少带宽的压力。且能够解码出完整的双目立体视频序列，避免丢帧。另外，该装置结构简单，易于实现。

为了实现上述目的，本发明第一方面实施例提出的基于帧率转换的立体视频非对称编码方法，包括以下步骤：向视频压缩单元输入双目立体视频序列；视频压缩单元对所述双目立体视频序列中第二路进行间隔预定帧数N的下采样以得到第一下采样视频序列，并对所述双目立体视频序列的第一路和所述第一下采样视频序列进行压缩以得到第一路编码流和第二路编码流，其中，所述N在[1，第二路的帧数-2]的范围内；传输单元接收所述第一路编码流和所述第二路编码流并将所述第一路编码流和所述第二路编码流发送给播放端；播放端对所述第一路编码流和所述第二路编码流进行解码后得到所述双目立体视频序列的第一路和所述第一下采样视频序列，并通过时域预测方法得到所述第一下采样视频序列中任意相邻两帧图像的匹配块之间的第一运动矢量，且根据所述第一运动矢量和所述预定帧数N插值出所述任意相邻两帧图像之间的所述第二路的图像。

根据本发明实施例的基于帧率转换的立体视频非对称编码方法，通过对双目立体视频中其中一路，如第二路进行隔帧的时域下采样得到第一下采样视频序列(第一下采样视频序列的帧数不多于第二路视频序列帧数的一半)，然后对第一路和第一下采样视频序列进行编码，从而使得编码后的码流数据量减少，这样，使编码流经传输单元到达播放端(解码端)占用的带宽降低，避免网络堵塞，进而提高编码流的传输速度。帧数减少还能够减少视频压缩单元和播放端对双目立体视频的编码和解码的计算量，提高工作效率。此外，在播放端，通过第一下采样视频序列任意相邻两帧图像的运动估计，如时域预测方法能够方便得到任意相邻两帧图像之间的运动矢量，然后根据下采样间隔的帧数，可以估计出由下采样屏蔽掉的图像与相邻的图像之间的运动矢量，进而快速插值出屏蔽掉的图像。由此，本发明实施例的方法不仅保证码流传输的速度，并防止网络的堵塞，还能够快速对码流进行解码，避免帧丢失，提高视频的播放的连贯性。

另外，根据本发明的基于帧率转换的立体视频非对称编码方法还可以具有如下附加的技术特征：

在本发明的一个实施例中，所述预定帧数N为1。

根据本发明的一个实施例，所述时域预测方法进一步包括：获得所述第一下采样视频序列中任意相邻两帧图像的后一帧图像上当前块在前一帧图像上的匹配块；计算所述当前块与所述匹配块之间的第一运动矢量；根据所述预定帧数N估计出所述任意相邻两帧图像的后一帧图像上当前块与位于所述任意相邻两帧图像之间的第二路的图像的第一预设匹配块的第二运动矢量为所述第一运动矢量的一半；根据所述第二运动矢量插值出所述第一预设匹配块在所述任意相邻两帧图像之间的图像的第一实际匹配块；对插值出的全部所述第一实际匹配块进行组合以得到所述任意相邻两帧图像之间的图像。

根据本发明的一个实施例，通过块匹配算法计算得到所述第一下采样视频序列中任意相邻两帧图像的后一帧图像上当前块在前一帧图像上的匹配块。

根据本发明的一个实施例，通过视点间视差预测方法和所述预定帧数N插值出所述任意相邻两帧图像之间的图像。