[发明专利]一种基于光流与图像分割的深度表示方法

权利要求书

1.一种基于光流与图像分割的深度表示方法，其特征在于包括如下步骤：

(1)对原始二维视频中的每一帧图像，参考每一帧图像在时间方向上相邻的后一帧图像，进行光流分析，得到当前图像的光流图；

(2)对原始二维视频中的每一帧图像进行图像分割，得到分割图；

(3)结合原始二维视频中每一帧图像对应的光流图与分割图，得到深度图，用于三维视频的表达；

所述的对原始二维视频中的每一帧图像，参考每一帧图像在时间方向上相邻的后一帧图像，进行光流分析，得到当前图像的光流图步骤为：

(a)取原始二维视频中的一帧图像及其时间方向上相邻的后一帧图像，对这两幅图像对应的亮度分量Y₁、Y₂和色度分量U₁、V₁、U₂、V₂分别运用图像处理中的Sobel算子计算水平梯度和垂直梯度，得到当前图像三个分量的水平梯度Y_1x、U_1x、V_1x，垂直梯度Y_1y、U_1y、V_1y和后一帧图像的水平梯度Y_2x、U_2x、V_2x，垂直梯度Y_2y、U_2y、V_2y，运用如下公式得到当前图像的整体水平梯度I_1x和整体垂直梯度I_1y以及后一帧图像的整体水平梯度I_2x和整体垂直梯度I_2y：

I_x＝max(|Y_x|，|U_x|，|V_x|)

I_y＝max(|Y_y|，|U_y|，|V_y|)；

(b)对当前图像的三个分量Y₁、U₁、V₁分别与其后一帧图像的三个分量Y₂、U₂、V₂做时间上的双向差分运算，综合得到当前图像的前向时间梯度I_1t和后向时间梯度I_2t，计算公式如下所示：

I_1t＝max(|Y₁-Y₂|，|U₁-U₂|，|V₁-V₂|)

I_2t＝max(|Y₂-Y₁|，|U₂-U₁|，|V₂-V₁|)；

(c)将步骤(a)和步骤(b)得到的当前图像的水平梯度I_1x、垂直梯度I_1y和前向时间梯度I_1t以及其后一帧图像的水平梯度I_2x、垂直梯度I_2y和后向时间梯度I_2t分别代入光流基本方程和平滑约束方程得到前向光流场(u₁，v₁)和后向光流场(u₂，v₂)，光流基本方程为：

I_x·u+I_y·v+I_t＝0

平滑约束方程为：

∂u∂t=▿2u-λIx(Ix·u+Iy·v+It)]]>

∂v∂t=▿2v-λIy(Ix·u+Iy·v+It)]]>

其中，λ为常数；

(d)利用步骤(c)得到的前向光流场(u₁，v₁)和后向光流场(u₂，v₂)，计算光流一致性度量c(x，y)，计算公式如下：

Δu(x，y)＝u₁(x，y)+u₂(x-u₁Δt，y-v₁Δt)

Δv(x，y)＝v₁(x，y)+v₂(x-u₁Δt，y-v₁Δt)

c(x,y)=11+Δu(x,y)2+Δv(x,y)2]]>

其中，Δu(x，y)表示当前图像中一个像素的前向光流场水平分量与在后一帧图像上的参考像素的后向光流场水平分量的差异，而Δv(x，y)表示当前图像中一个像素的前向光流场垂直分量与在后一帧图像上的参考像素的后向光流场垂直分量的差异，在光流一致的情况下，当前像素的前向光流场与在后一帧图像上的对应参考像素的后向光流场是大小相同，方向相反的，即Δu(x，y)＝0，Δv(x，y)＝0，c(x，y)表示光流一致性的度量，它的取值范围在(0，1)之间，当Δu(x，y)＝0，Δv(x，y)＝0，即光流一致的情况下，c(x，y)＝1，c(x，y)越小，表示前向光流场与后向光流场越不一致；

(e)根据步骤(d)得到的光流一致性度量c(x，y)，对步骤(c)得到的前向光流场(u₁，v₁)进行平滑处理，平滑处理计算公式如下：

u1′(x,y)=Σj=-11Σi=-11w(i,j)·c(x+i,y+j)·u1(x+i,y+j)Σj=-11Σi=-11w(i,j)·c(x+i,y+j)]]>

v1′(x,y)=Σj=-11Σi=-11w(i,j)·c(x+i,y+j)·v1(x+i,y+j)Σj=-11Σi=-11w(i,j)·c(x+i,y+j)]]>

其中，c(x，y)是光流一致性度量，加权因子w(i，j)(i，j＝-1，0，1)取自模板最终得到平滑后的前向光流场(u′₁，v′₁)，作为当前图像的光流图F(x，y)；

所述的对原始二维视频中的每一帧图像进行图像分割，得到分割图步骤为：

(f)建立一个带非负权值的无向图G(V，E)模型，其中V表示无向图中节点集合，即v∈V，E表示无向图中边的集合，即(v_i，v_j)∈E，每条边对应的权值为w(v_i，v_j)；

(g)以原始二维视频中的每一帧图像作为一个处理单位，将图像中所有像素作为无向图模型中的节点，将所有像素与其八邻域内像素的连接关系作为无向图的边，每条边对应的权值w(v_i，v_j)按照如下公式计算得到：

w(v_i，v_j)＝0.5×|Y(v_i)-Y(v_j)|+0.25×|U(v_i)-U(v_j)|+0.25×|V(v_i)-V(v_j)|

其中，Y(v_i)和Y(v_j)分别表示节点v_i和节点v_j的亮度分量，U(v_i)、V(v_i)和U(v_j)、V(v_j)分别表示节点v_i和节点v_j的两个色度分量；

(h)将图中的所有m条边按照步骤(g)计算得到权值递增排列，表示为(e₁，e₂，......e_m)，初始分割S⁰时，每一个像素各自位于不同的分割集合中；

(i)每次从排列(e₁，e₂，......e_m)中按顺序取出一条边e_q，如果这条边连接的两个节点v_i和v_j在上一次分割后处于不同的分割集合和并且这条边的权值w(v_i，v_j)小于阈值时，则将两个节点所在的分割集合在这一次分割中合并，整个过程用公式表示如下：

Sq=Ciq-1+Cjq-1w(vi,vj)≤Min(Ciq-1,Cjq-1)vi∈Ciq-1,vj∈Cjq-1,Ciq-1≠Cjq-1Sq-1otherwise]]>

其中，q表示当前是第q次分割，分割结果用S^q表示，判断阈值按照下式计算得到：

Min(Ciq-1,Cjq-1)=min(Inter(Ciq-1)+τ(Ciq-1),Inter(Cjq-1)+τ(Cjq-1))]]>

其中，表示一个分割集合中最小生成树的最大权重，表示基于分割集合大小的阈值函数，k是一个常数，|C|表示分割集合大小，即其中的节点个数；

(j)重复步骤(i)，直到排列(e₁，e₂，......e_m)中所有的边都被遍历，标记最后的分割结果，得到分割图S(x，y)；

所述的结合原始二维视频中每一帧图像对应的光流图与分割图，得到深度图步骤为：

(k)参考分割图S(x，y)，对同一分割区域对应在光流图F(x，y)中的所有像素值累加并取平均值，作为这个分割区域所在图像位置的深度表示，最终得到表示原始二维视频中每一帧图像深度的深度图D(x，y)，计算公式表示如下：

D(x,y)=Σ(x,y)∈SiF(x,y)|Si|,i=1,2,...m′]]>

其中，分割图S(x，y)共有m′个分割区域组成，表示为{S₁，S₂，...，S_m′}，|S_i|表示第i个分割区域中覆盖像素的个数。