[发明专利]基于样本学习和深度图像传播的2D视频立体化方法

摘要

本发明公开一种基于样本学习和深度图像传播的2D视频立体化方法，主要解决现有2D视频立体化过程中计算复杂度高、适用性差的问题。其实现步骤为：（1）输入两帧2D视频图像；（2）利用基于样本学习的方法得到第一帧视频图像各个像素位置的最佳深度值；（3）对最佳深度值进行后处理；（4）利用深度传播技术得到输入的第二帧视频图像在各个像素位置的深度值；（5）利用基于深度图像绘制技术，结合输入的视频图像和得到的各个像素位置的深度值，生成左右格式的3D视频。本发明的计算复杂度低，可得到运动前景突出、边缘清晰、结构自然的高质量深度图像，从而生成立体视觉效果良好的3D视频，可广泛应用于3D电视相关的视频处理中。

主权项

1.一种基于样本学习和深度图像传播的2D视频立体化方法，其特征在于，包括如下步骤：（1）提取图像特征：1a)输入一帧大小为320×240的2D视频图像I₁，并提取其方向梯度直方图特征向量1b)从彩色-深度图像对RGB-D数据库中提取出大小为320×240的所有彩色图像1≤i≤N，N为数据库中彩色图像的数量，并提取这些彩色图像的方向梯度直方图特征向量（2）从RGB-D数据库中检索相似的参考图像：2a)分别计算输入的视频图像I₁与RGB-D数据库中各个彩色图像的特征向量的欧式距离：其中，1≤i≤N；2b)将得到的所有距离S_i按从小到大的顺序排列，取前28个值所对应的彩色图像作为参考图像J_k，其中，1≤k≤28；（3）利用中值滤波方法，从得到的28幅参考图像J_k对应的深度图像D_k中，确定输入的视频图像I₁中各个像素位置的最佳深度值：d₁(x)＝median{D_k(x)}，1≤k≤28，其中d₁(x)表示输入的视频图像I₁在像素位置x处的最佳深度值，median表示中值滤波运算；（4）对输入的视频图像I₁中各个像素位置的最佳深度值d₁(x)进行后处理：4a）对输入的视频图像I₁与其下一帧视频图像I₂，利用稠密光流估计方法计算出视频图像I₁在像素位置x的运动矢量V(x)＝(u_x,v_x)，并计算像素位置x的运动强度m(x)，其中，u_x表示像素位置x处的水平方向的运动分量，v_x表示像素位置x处的垂直方向的运动分量；4b）设置运动强度阈值T₁=20，根据像素位置x的最佳深度值d₁(x)和运动强度m(x)计算该像素位置的基于运动改进的深度值d₂(x)：若m(x)大于阈值T₁，则d₂(x)＝w₁×d₁(x)+w₂×m(x)，其中，权重w₁＝0.6，w₂＝0.4，若该处的运动强度m(x)小于阈值T₁，则d₂(x)=d₁(x)；4c）将输入的视频图像I₁分为大小为4×4的块，以各个块作为结点U，相临两个块的灰度值的差的绝对值作为这两个块的边E，构建一个有权无向图G(U,E)，将G(U,E)利用克鲁斯卡尔方法构建最小生成树，将最小生成树中大于2.5的边E断开，得到的各个连通的子树即为各个分割区域R_b，1≤b≤B，B为得到的分割区域的数量；4d）计算像素位置x的基于分割改进的深度值d₃(x)：d3(x)=Sbnum(Rb),x∈Rb]]>其中，S_b表示分割区域R_b内的所有像素位置的深度值之和表示分割区域R_b内的像素个数；4e）根据输入的视频图像I₁和像素位置x的深度值d₃(x)，利用联合双边滤波方法，计算像素位置x的基于滤波改进的深度值d₄(x)；（5）根据步骤4a）中得到的运动矢量V(x)和步骤4e）得到的像素位置x的深度值d₄(x)，得到下一帧视频图像I₂在像素位置x的深度值：d₅(x)＝d₄(x-V(x))；（6）利用深度图像绘制技术，生成输入视频图像I₁和下一帧视频图像I₂的左右格式的3D视图：6a）利用上述参数分别计算视频图像I₁和下一帧视频图像I₂在像素位置x处的左眼视点L₁(x)和L₂(x)：L1(x)=I1(x+t2×d4(x)f),L2(x)=I2(x+t2×d5(x)f),]]>其中，f表示估计的拍摄输入视频的摄像机的焦距，f=50，t表示人的两只眼睛的间距，t=6；6b）根据各个像素位置的左眼视点得到左眼视图L_z，以输入的视频图像I_z为右眼视图，得到左右格式的3D视图{L_z,I_z}，z＝1,2。