[发明专利]一种基于视点间关系的多视点视频帧插入方法

说明书

技术领域

本发明属于视频处理的技术领域，尤其涉及一种基于视点间关系的多视点视频帧插入方法。

背景技术

目前，视频处理、数字多媒体是当前最活跃的研究领域之一，随着人们对服务质量和视觉体验要求的不断提高，立体视频应运而生。立体视频作为一种新兴的多媒体形式，能够为用户提供身临其境的视觉体验，即很强的立体感和沉浸感，因而相关技术近年来得到广泛的关注。通常而言，立体视频系统需要同时传输多个视点的彩色和深度视频，因此与传统的二维视频传输系统相比，其数据传输量大大增加。由于传输信道带宽的限制，即便使用了高效的编码手段，在实际系统中，多视点视频仍然不能以很高的帧率进行传输。当视频的帧率较低时，使用者观看时就会产生运动模糊或者伪影现象，而这极大地影响了视频的视觉质量。

作为一种常见的视频增强手段，运动补偿帧插入对低帧率视频进行处理，利用相邻帧之间的运动关系，在两个原始视频帧之间插入一帧或者多帧，实现视频帧率由低到高的变换。由于其广泛的应用价值，国内外研究者提出了多种视频帧插入方法，传统二维视频帧插入技术的研究已经比较成熟。伴随着立体视频技术的发展，近年来，面向立体视频的帧插入方法的研究逐渐引起关注。

较之传统二维视频帧插入方法，当前已有的立体视频帧插入方法通常将深度信息应用到运动向量估计、运动向量后处理、视频块分割等步骤，论文“立体电视中多视点视频增强和视线跟踪方法的研究”中提出了一种基于深度的适应性运动补偿和图像块分割方案，根据视频场景中深度信息和运动向量的关系，适应性选择先向运动补偿与后向运动补偿，并利用深度信息和颜色信息对深度不连续图像块进行分割，有效解决传统帧率提升过程中遮挡区域和非遮挡区域运动补偿后出现的模糊和伪影的现象，提升了视频的视觉质量。

但是，该方法存在一定的不足，虽然与二维视频帧率提升方法相比取得了较好的帧插入效果，然而，该方法仅仅针对单视点的彩色视频+深度视频进行处理，受到深度信息准确性的影响，且并未考虑多视点视频视点间关系。因此，在立体视频处理方面，插入帧的视觉质量还可以得到进一步的提高。

综上所述，现有技术中如何处理多视点视频中不同视点在空间上的关系来进一步提高立体视频插入帧的视觉质量，尚缺乏有效的解决方案。

发明内容

本发明为了解决上述问题，提供一种基于视点间关系的多视点视频帧插入方法。本发明在立体视频帧插入过程中充分考虑多视点视频中不同视点在空间上的关系，即左视点视频和右视点视频间的关系，同时结合深度信息，利用这种空间关系解决视频帧插入中遮挡区域处理这一关键问题，减弱现有的二维视频和三维视频帧插入方法中存在的前景物体边缘模糊现象，进一步提高立体视频的视觉质量。

为了实现上述目的，本发明采用如下技术方案：

一种基于视点间关系的多视点视频帧插入方法，包括以下步骤：

(1)运动估计：根据上一帧图像和当前帧图像，利用单向运动估计算法进行运动向量估计，分别得到前向运动向量场和后向运动向量场；

(2)遮挡检测：利用深度信息检测出上一帧图像中的遮挡图像块和当前帧图像中的遮挡图像块，并将这些遮挡图像块分成覆盖型图像块和非覆盖型图像块两类；

(3)遮挡区域处理：利用多视点视频视点间的关系，采用取深度值最小的参考像素的赋值给虚拟视点像素的方法生成背景可见的虚拟视点视频帧，进行遮挡图像块的处理；

(4)运动向量分配和帧插入：对插入帧中的每个图像块进行运动向量分配，利用双向运动补偿进行插入帧中图像块的重建，实现帧插入。

优选的，在所述步骤(1)中，所述前向运动向量场的获取方法为：

将上一帧图像分成尺寸相等的图像块，以当前帧图像为参考帧，利用单向运动向量估计算法计算出上一帧图像中每个图像块的运动向量，得到前向运动向量场。

优选的，在所述步骤(1)中，所述后向运动向量场的获取方法为：

将当前帧图像分成尺寸相等的图像块，以上一帧图像为参考帧，利用单向运动向量估计算法计算出当前帧图像中每个图像块的运动向量，得到后向运动向量场。

优选的，在所述步骤(2)中，具体包括以下步骤：

(2-1)分别将上一帧图像和当前帧图像中的图像块分为遮挡图像块和非遮挡图像块两类；

(2-2)：分别将上一帧图像和当前帧图像中的遮挡图像块分为覆盖型图像块和非覆盖型图像块两类。

优选的，所述步骤(2-1)中区分遮挡图像块和非遮挡图像块的具体方法为：