[发明专利]基于3维流场正则化的变分场景流估计方法

说明书

技术领域

本发明属于一种场景流估计方法，尤其涉及一种基于场景流驱动各向异性平滑和各向异性深度图平滑的，基于3维流场正则化的变分场景流估计方法。

背景技术

真实世界是3维的，传统的数字视频记录的是3维动态场景在2维平面上的投影，表现为2维图像序列，丢失了深度信息，不利于科学研究应用。场景流是光流由2维平面向3维空间的扩展，可在3维空间中描述场景点的运动。光流可看作是场景流在2维图像平面上的投影，是对真实运动场的近似，相对于光流，场景流更符合3维真实运动。

在基于2维光流正则化的场景流估计中，近期的方法多采用流驱动各向同性平滑假设而忽略了流场方向性信息，从而导致在运动不连续处及遮挡位置场景流估计误差大，且针对2维光流进行平滑求解场景流不符合实际运动模型。本发明方法直接对3维流场施加平滑假设约束，则可令运动模型更符合实际情况，提高估计精度。INRIA的Basha等人提出了使用多视及3维流场平滑假设的场景流估计方法，Quiroga等则在已知深度图的情况下利用3维流场平滑假设求解场景流。也有人提出将2维平滑约束进行3维扩展，但使用的仍是各向同性场景流驱动方法，在遮挡或运动不连续区域场景流估计误差显著增加的问题依然存在，而各向异性平滑假设对克服此类问题有着重要意义。

发明内容

本发明的目的是提供一种具有高鲁棒性的基于3维流场正则化的变分场景流估计方法。

本发明是通过以下技术方案实现的：

基于3维流场正则化的变分场景流估计方法，包括以下几个步骤：

步骤一：将左右摄像机光轴平行摆放，利用标定板进行标定，获得摄像机内外参数；

步骤二：利用已经标定好的左右摄像机获取左右图像序列；

步骤三：利用获得的左右立体图像序列计算视差图，由视差图转换得到深度图；

步骤四：将3维流场进行正则化得到场景流数据项；

步骤五：将2维光流平滑项向3维空间扩展，得到场景流驱动各向异性的场景流平滑项；

步骤六：根据方向信息设计扩散张量并进行本征分解，得到每个方向上的扩散强度，从而进行各向异性平滑，得到深度平滑项；

步骤七：将场景流数据项、场景流平滑项和深度平滑项合并，构建能量泛函；

步骤八：使用变分极小化的方法，得到能量泛函对应的Euler方程的解；

步骤九：利用超松弛迭代对Euler方程进行迭代求解，得到优化后的场景流和深度信息。

本发明基于3维流场正则化的变分场景流估计方法，还可以包括：

1、场景流数据项为：

E_data＝∫_Ω(E_l+E_r+E_Z+E_Z')dx

其中，场景流W＝(v_X,v_Y,v_Z)^T，Z为t时刻场景点深度，Z'为t+1时刻场景点深度，且Z＝Z+v_Z，E_l(W,Z)为左图像序列的能量函数，E_r(W,Z)右图像序列的能量函数，E_Z(W,Z)为t时刻深度图序列的能量函数，E_Z′(W,Z)为t+1时刻深度图序列的能量函数，

E_l(W,Z)＝ψ(G_σ*(I_l(x+w,t+1)-I_l(x,t))²)

E_r(W,Z)＝y(G_s*(I_l(x+w+d',t+1)-I_r(x+d,t))²)

E_Z(W,Z)＝ψ(G_σ*(I_r(x+d,t)-I_l(x,t))²)

E_Z′(W,Z)＝ψ(G_σ*(I_r(x+w+d',t+1)-I_l(x+w,t+1))²)

其中，t时刻距离d＝(fb/Z,0)^T,t+1时刻距离d'＝(fb/(Z+v_Z),0)^T，f为摄像机焦距，b为基线长度，光流w为：