[发明专利]基于样本学习和深度图像传播的2D视频立体化方法

说明书

技术领域

本发明属于视频处理技术领域，涉及一种视频立体化方法，可用于将2D视频转换为3D立体视频。

背景技术

随着3D电视技术的快速发展，人们可以通过3D电视收看到更加立体逼真的影视节目，但是由于3D资源的匮乏，极大的限制了3D电视的发展。现有技术中通过使用3D立体摄像机拍摄获得3D内容，然而该方法的成本过于昂贵，专业要求较高。因此有人提出了将现有的2D资源转换为3D立体格式，来弥补3D资源的不足。

将2D资源转换为3D立体格式，就是对2D视频立体化，即通过从视频序列中估计深度图像，并通过基于深度图像绘制技术生成3D立体视频的技术。目前，该技术根据是否需要人工操作分为两大类：半自动化技术和自动化技术。半自动技术由于加入了人工操作，得到的深度图像更加的精确，3D立体效果更好，但更加的费时费力；而自动化技术是通过采用各种深度线索来估计深度图像，尽管各个线索都有其局限性，但已经在技术上取得了一定突破，通过优化和硬件实现，可以实时将2D视频转换为3D立体格式，已经在3D数字电视领域获得广泛应用。

现有的将2D资源自动转换为3D立体格式的方法，一般采用两个或者多个深度线索融合的方式来估计深度图像。这些方法可以有效利用多深度线索的优势，提高深度图像估计的准确性，但并不适用于任意场景。

近年来，随着机器学习理论的不断发展，基于学习的视频立体化方法被提出，可以应用于任意图像的深度图像估计。Konrad等人提出了一种基于学习的图像立体化方法，其方法是基于相似结构的图像具有相似的深度图像这一假设，通过特征提取和匹配，从已有的彩色-深度图像对RGB-D的数据库中提取出与输入图像结构相似的彩色图像，然后利用中值滤波技术融合这些彩色图像对应的深度图像。这种方法尽管计算复杂度小，但无法保持深度图像的边界信息，从而引起3D格式的图像边界扭曲变形而失真。同时如果直接将上述方法应用于2D视频的立体化，对每一帧图像都进行处理，需要大量的计算时间，同时由于视频两帧之间的变化，很难保证3D图像在时间上的连续性。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于学习和深度传播的2D视频立体化方法，以保持深度图像的边界信息，提高3D图像的边缘纹理清晰度，并保持3D图像在时间上的一致性，降低计算复杂度。

实现本发明目的的技术方案是：对输入视频的一帧图像提取其方向梯度直方图特征向量，通过特征匹配从已有的彩色-深度图像对RGB-D的数据库中检索出最相似的28幅彩色参考图像和其对应的深度图像；利用中值滤波技术融合得到的参考图像对应的深度图像，得到初始深度图像，并结合运动估计、最小生成树分割和联合双边滤波对初始深度图进行后处理；对于视频的下一帧图像，通过运动补偿方法来估计其深度图像；利用得到的深度图像和对应的视频图像，使用基于深度图像绘制技术来生成左右格式的3D图像，其具体步骤包括如下：

（1）提取图像特征：

1a)输入一帧大小为320×240的2D视频图像I₁，并提取其方向梯度直方图特征向量

1b)从彩色-深度图像对RGB-D数据库中提取出大小为320×240的所有彩色图像1≤i≤N，N为数据库中彩色图像的数量，并提取这些彩色图像的方向梯度直方图特征向量

（2）从RGB-D数据库中检索相似的参考图像：

2a)分别计算输入的视频图像I₁与RGB-D数据库中各个彩色图像的特征向量的欧式距离：其中，1≤i≤N；

2b)将得到的所有距离S_i按从小到大的顺序排列，取前28个值所对应的彩色图像作为参考图像J_k，其中，1≤k≤28；

（3）利用中值滤波方法，从得到的28幅参考图像J_k对应的深度图像D_k中，确定输入的视频图像I₁中各个像素位置的最佳深度值：d₁(x)＝median{D_k(x)}，1≤k≤28，其中d₁(x)表示输入的视频图像I₁在像素位置x处的最佳深度值，median表示中值滤波运算；

（4）对输入的视频图像I₁中各个像素位置的最佳深度值d₁(x)进行后处理：