[发明专利]基于样本学习和深度图像传播的2D视频立体化方法

权利要求书

1.一种基于样本学习和深度图像传播的2D视频立体化方法，其特征在于，包括如下步骤：

（1）提取图像特征：

1a)输入一帧大小为320×240的2D视频图像I₁，并提取其方向梯度直方图特征向量

1b)从彩色-深度图像对RGB-D数据库中提取出大小为320×240的所有彩色图像1≤i≤N，N为数据库中彩色图像的数量，并提取这些彩色图像的方向梯度直方图特征向量

（2）从RGB-D数据库中检索相似的参考图像：

2a)分别计算输入的视频图像I₁与RGB-D数据库中各个彩色图像的特征向量的欧式距离：其中，1≤i≤N；

2b)将得到的所有距离S_i按从小到大的顺序排列，取前28个值所对应的彩色图像作为参考图像J_k，其中，1≤k≤28；

（3）利用中值滤波方法，从得到的28幅参考图像J_k对应的深度图像D_k中，确定输入的视频图像I₁中各个像素位置的最佳深度值：d₁(x)＝median{D_k(x)}，1≤k≤28，其中d₁(x)表示输入的视频图像I₁在像素位置x处的最佳深度值，median表示中值滤波运算；

（4）对输入的视频图像I₁中各个像素位置的最佳深度值d₁(x)进行后处理：

4a）对输入的视频图像I₁与其下一帧视频图像I₂，利用稠密光流估计方法计算出视频图像I₁在像素位置x的运动矢量V(x)＝(u_x,v_x)，并计算像素位置x的运动强度m(x)，其中，u_x表示像素位置x处的水平方向的运动分量，v_x表示像素位置x处的垂直方向的运动分量；

4b）设置运动强度阈值T₁=20，根据像素位置x的最佳深度值d₁(x)和运动强度m(x)计算该像素位置的基于运动改进的深度值d₂(x)：

若m(x)大于阈值T₁，则d₂(x)＝w₁×d₁(x)+w₂×m(x)，其中，权重w₁＝0.6，w₂＝0.4，

若该处的运动强度m(x)小于阈值T₁，则d₂(x)=d₁(x)；

4c）将输入的视频图像I₁分为大小为4×4的块，以各个块作为结点U，相临两个块的灰度值的差的绝对值作为这两个块的边E，构建一个有权无向图G(U,E)，将G(U,E)利用克鲁斯卡尔方法构建最小生成树，将最小生成树中大于2.5的边E断开，得到的各个连通的子树即为各个分割区域R_b，1≤b≤B，B为得到的分割区域的数量；

4d）计算像素位置x的基于分割改进的深度值d₃(x)：

d3(x)=Sbnum(Rb),x∈Rb]]>

其中，S_b表示分割区域R_b内的所有像素位置的深度值之和表示分割区域R_b内的像素个数；

4e）根据输入的视频图像I₁和像素位置x的深度值d₃(x)，利用联合双边滤波方法，计算像素位置x的基于滤波改进的深度值d₄(x)；

（5）根据步骤4a）中得到的运动矢量V(x)和步骤4e）得到的像素位置x的深度值d₄(x)，得到下一帧视频图像I₂在像素位置x的深度值：d₅(x)＝d₄(x-V(x))；

（6）利用深度图像绘制技术，生成输入视频图像I₁和下一帧视频图像I₂的左右格式的3D视图：

6a）利用上述参数分别计算视频图像I₁和下一帧视频图像I₂在像素位置x处的左眼视点L₁(x)和L₂(x)：

L1(x)=I1(x+t2×d4(x)f),L2(x)=I2(x+t2×d5(x)f),]]>

其中，f表示估计的拍摄输入视频的摄像机的焦距，f=50，t表示人的两只眼睛的间距，t=6；

6b）根据各个像素位置的左眼视点得到左眼视图L_z，以输入的视频图像I_z为右眼视图，得到左右格式的3D视图{L_z,I_z}，z＝1,2。