[发明专利]面向捕获静止场景的二维视频的准三维重建方法

权利要求书

1.一种面向捕获静止场景的二维视频的准三维重建方法，其特征在于，包括以下步骤：步骤A、对所述静止场景二维视频中的每一帧，提取与其间隔固定帧数的另一帧，构成一对双视点图像对；

步骤B、分别对各双视点图像对进行极线校正；

步骤C、采用基于全局优化的双目立体匹配方法对极线校正后的各双视点图像对分别求解全局最优视差图；

步骤D、根据所述极线校正得到的单应矩阵，对全局最优视差图进行反校正，得到所述静止场景二维视频中各帧相应的视差图；

步骤E、将步骤D得到的视差图依所对应的视频帧次序拼接为视差图序列，并对视差图序列进行优化；

步骤F、结合所提取的各视频帧及其对应视差图，采用DIBR方法恢复虚拟视点图像，并将虚拟视点图像拼接为虚拟视点视频。

2.如权利要求1所述面向捕获静止场景的二维视频的准三维重建方法，其特征在于，所述基于全局优化的双目立体匹配方法具体为：对于包含左图I_L和右图I_R的双视点图像对，当左图I_L中像素点p视差为d时，用表示右图I_R中与p对应的像素点；通过求解以下数学模型，从这两个视点图像中获得全局最优的稠密视差图D：

minE(D)=Σp∈Ieaggr(p,p‾d)+η·Σ(p,q)∈NL(p,q)·min(|dp-dq|,Tsm)]]>

其中，η为正则化系数；

为像素点p与的匹配代价，通过以下方法得到：

步骤1）按照下式确定像素点p与的初始匹配代价

e(p,p‾d)=β·dWLD(p,p‾d)+(1-β)·dRGB(p,p‾d)]]>

dWLD(p,p‾d)=min{Σc∈{R,G,B}|ξLc(p)-ξRc(p‾d)|,TWLD},]]>

dRGB(p,p‾d)=min{Σc∈{R,G,B}|ILc(p)-IRc(p‾d)|,TRGB}]]>

式中，为像素点p与的韦伯描述符向量之间的差异，为像素点p与的RGB通道彩色描述符向量之间的差异，T_WLD和T_RGB分别为预设的阈值，β为范围在[0,1]之间的权重系数，分别为左图I_L中的像素点p与右图I_R中的像素点在RGB色彩通道c下的差分激励；分别为左图I_L中的像素点p与右图I_R中的像素点在RGB色彩通道c下的分量；

步骤2）按照下式将各像素点的初始匹配代价按导引滤波权重核进行权重化平均，实现匹配代价聚合：

eaggr(pb,p‾b,d)=ΣjWb,j(pb,pj)·e(pj,p‾j,d),]]>

式中，是导引滤波输出，作为目标像素点p_b的聚合代价；是像素p_b在给定视差d时在右图I_R中的对应像素点；表示像素点p_b的邻域像素点p_j在给定视差d时的初始匹配代价，作为导引滤波的输入；导引滤波权重核W_b,j(p_b,p_j)由下式得到：

Wb,j(pb,pj)=1|w|2Σk:(b,j)∈wk(1+(Ib-μk)T(Σk+ϵU)-1(Ij-μk)),]]>

其中，|w|为支撑窗口w_k中的像素个数；k:(b,j)∈w_k表示所有同时包含目标像素p_b和邻域像素p_j的支撑窗口，这些窗口用变量k表示；I_b和I_j是目标像素p_b和邻域像素p_j的3×1的RGB色彩向量；μ_k表示某个支撑窗口w_k内所有像素RGB色彩向量的3×1均值向量；∑_k表示某个支撑窗口w_k内所有像素RGB色彩向量的3×3协方差矩阵；U是3×3单位矩阵；ε为加权力度控制参数；

d_p和d_q分别为目标像素p和某个邻域像素q的视差；T_sm为预设的视差差异截断阈值；L(p,q)为目标像素p和邻域像素q间的自适应相似性权重，根据下式得到：

L(p,q)=L(q,p)=exp(-D(p,q)/σ)

其中，σ为相似性测度的控制参数；D(p,q)表示原图像的最小生成树上的目标顶点p和其邻域中顶点q之间的距离，即它们连接路径上边的权重和，所述目标顶点的邻域为所述最小生成树上与目标顶点距离最小的K个邻近顶点；所述最小生成树通过以下方法得到：首先将原图像的像素点作为图结构的顶点，将相邻像素点间的梯度模作为图结构中顶点间边上的权重，得到稠密的图结构；然后，采用克鲁斯卡尔算法对稠密的图结构求解，得到原图像的最小生成树。