[发明专利]一种时空域联合约束的三视点立体视频深度提取方法

摘要

本发明提供一种时空域联合约束的三视点立体视频深度提取方法，针对中心视点图像，利用从左右视点图像寻找最佳匹配点；利用BP算法和平面融合方法优化基于能量函数的视差估计过程；利用三视图视差和遮挡信息迭代优化；利用光流法构建相邻帧时域视差约束关系，定义了光流法置信度，抑制了视差序列时域跳变；利用二项式亚像素估计和联合双边滤波，消除由于视差值量化带来的错误，并获取亚像素精度的视差；所求视差经量化后得到最终的深度序列。与仅利用单帧进行约束相比，本发明寻找多参考帧光流，能够很好地避免空域错误在时域上的传播。因此，本发明能够通过三视点图像来求取时空域上均连续且准确的深度图像序列。

主权项

1.一种基于时空域联合约束的三视点立体视频深度提取方法，其特征在于，包括以下步骤：第一步，视差图初始化，像素相似性由像素RGB值之差及Census相似性的线性组合决定；初始化能量函数，针对中间视点图像I_t，C(x_c)的点x_C，是从左视点或右视点选取匹配点，以此对于所有x_C都能找到匹配点，该能量函数由（1）式定义，利用多参数Meanshift平面分割与平面拟合，引入平面约束；对于中间视点图像I_t，C中像素x_c=(x，y)和给定视差d_x，其在右视点图像I_t,R中的对应像素为x_R=(x,y-d_x)，定义匹配代价函数为：CostC,R(xC,dx)=τ·|It,C(xC)-It,R(xR)|3+(1-τ)·Ccensus(It,C(xC),It,R(xR))]]>其中第一项表示x_c与x_R的RGB绝对值之差的平均值，所述C_census(I_t,C(x_C),I_t,R(x_R))表示x_c与x_R的局部结构相似性；所述的τ为加权因子；定义能量函数如下：Et,Cinit(Dt,C;CostC,R,CostC,L)=Σxcmin(ρ(CostC,R(xC,dx)),ρ(CostC,L(xC,dx)))+Et,Cs(xC)---(1)]]>其中ρ(C)=-ln((1-e_d)exp(-C/σ_d)+e_d)，是一个对于噪声鲁棒的截断函数，是便于使用BP算法优化的平滑项函数，其定义为：Et,Cs(xC)=ΣxcΣyc∈N(xc)ωs·λ(xC,yC)·min(|Dt,C(xC)-Dt,C(yC)|,ηs)]]>其中，λ(x_C,y_C)=ε/(ε+||I_t,C(x_C)-I_t,C(y_C)||₂)，N(x_c)表示像素x_c的邻域，‖·‖₂为2范数，最后，利用BP算法优化能量函数（1），得到初始视差图所述的ω_s取值范围是：[0.1,0.4]，e_d的取值是0.01，σ_d的取值是4.0，η_s的取值是2，ε的取值范围是[5.0,15.0]；第二步，利用得到的视差图像中间视点视差图与遮挡信息的迭代更新，并利用BP算法对视差图能量函数（3）与遮挡区域能量函数（2）进行优化，利用多参数平面融合求取中间视点初始视差图，利用更新好的遮挡信息进行左右视差图初始化；遮挡图像能量函数定义为：EO(OC,L,OC,R;Dt,C)=ΣxCEt,Cd,v+Pt,C+Σyc∈N(xc)βo·(|OC,L(xC)-OC,L(yC)|+|OC,R(xC)-OC,R(yC)|)---(2)]]>Et,Cd,v(Dt,C;CostC,Rv,CostC,Lv)=ΣxCu(xC)·(OC,L(xC)OC,R)(xC)β+(1-OC,R(xC))(1+OC,L(xC))·ρ(CostC,Rv(xC,dx))+(1-OC,L(xC))(1+OC,R(xC))·ρ(CostC,Lv(xC,dx)))+Et,Cs(xC)---(3)]]>CostC,Rv(xC,dx)=CostC,R(xC,dx)+pv·OR,C(xR)]]>Pt,C(OC,L,OC,R;WL,WR)=ΣxCβω(|OC,L(xC)-EL(xC)|+|OC,R(xC)-WR(xC)|)]]>其中：中间视图遮挡图像O_C，L，O_C,R；β_O的取值为10.0；左右视点遮挡图像O_L,C(x_R)，O_R,C(x_R)通过将中间视点向两侧投影，出现的孔洞即为O_L,C(x_R)，O_R,C(x_R)；W_L(x_C)的具体计算过程为：对于给定视差值将x_C映射到x_L，对于映射到同一个x_L的x_C，将其按照其视差大小排序，具有最大视差的x_C将视为初始未遮挡即W_L(x_C)=0，而其余的将视为初始遮挡即W_L(x_C)=1，W_R(x_C)的计算过程类似；第三步，利用三视点视差图所应满足的空间一致性约束进一步修正各视点视差图能量函数及遮挡区域能量函数，并进行三视点视差图与遮挡区域的迭代优化；具体利用BP算法对视差图能量函数（5），（7）及遮挡区域能量函数（6）进行优化；Et,Cd,v,s(Dt,C;CostC,Rv,S,CostC,Lv,s)=Et,Cd,v(Dt,C;CostC,Rv,s,CostC,Lv)---(5)]]>EO(OC,L,OC,R;Dt,Cspatial)=ΣxCEt,Cd,v,s+Pt,C+Σyc∈N(xc)βo·(|OC,L(xC)-OC,L(yC)|+|OC,R(xC)-OC,R(yC)|)---(6)]]>Et,Rd,v(Dt,Rspatial)=ΣxC(OR,C(xR)·β+(1-OR,C(xR))·ρ(CostR,Cv.s(xR,dx)))+Et,Rs(xR)---(7)]]>CostC,Rv,s(xC,dx)=CostC,Rv(xC,dx)+pv·min(s·|dx-Dt,Rplane′(xR)|,TS)]]>定义与类似，与为第二步所得到的左右初始化视差图像；第四步，利用视差图在时域上满足的时域一致性约束修正能量函数并进行优化，利用光流置信度定义，对视差图能量函数（8）进行优化；从第t帧到第t′帧的时域一致性约束的匹配代价函数定义为：CostCtem(xC,dx)=min(CostC,R(xC,dx),CostC,L(xC,dx))+pt·Σt′Ct,t′(xc)·min(s·|dx-Dt′,Cspatial(xc′)|2,Tt)]]>所述的p_t取值为1，T_t取值为9，定义的能量函数为：Et.Ctem(Dt,C)=Σxcρ(CostCtem)+Et,Cs(xC)---(8)]]>利用BP算法优化函数（8），得到时空域均一致的深度图像其中，光流置信度C_t,t′(x)：Ct,t′(x)=exp(-||x-x′′||σr)·exp(-||It(x)-It′(x′)||σc)]]>x′为第t帧内像素x在第t’帧的对应点，通过光流得到；x′′是x′反向投影到第t帧的像素位置，||x-x′′||表示两个像素在图像上的欧氏距离，||I_t(x)-I_t′(x′)||表示像素的RGB值之差的2范数；5）利用二项式拟合及联合双边滤波进行亚像素估计，消除视差量化所引入的误差，并获取亚像素深度的视差图序列。