[发明专利]高精度边缘保护型RGBD场景流估计方法

摘要

本发明公开了一种高精度边缘保护型RGBD场景流估计方法，通过模糊聚类算法对优化后的光流图像进行聚类分割得到初始分割图像，计算各分割层中像素点深度值与其所属层深度值均值之间的差值；计算前后帧图像间像素点对应关系，计算各分层的旋转矩阵和平移矩阵；分别计算各分割层水平方向、垂直方向和深度方向上的运动分量，获得初始场景流；根据变形技术优化光流，然后通过优化后的光流与深度信息求解场景流模型得到最终场景流。有效避免了场景流计算结果中局部过度平滑和边缘模糊现象，提高了场景流估计的精度。

主权项

1.高精度边缘保护型RGBD场景流估计方法，其特征在于，其步骤如下：1)计算连续两帧图像序列间的光流；2)利用形态重建算法优化光流图像，剔除干扰噪声点；3)根据模糊聚类算法对优化后的光流图像进行聚类分割，得到初始分割图像；式中：u_kl代表的是图像灰度值l相对于第k个聚类中心得到模糊隶属度，υ_k表示聚类中心的位置，c表示聚类中心个数，m为模糊参数，ξ_l是像素点的灰度值，γ_l代表灰度值为l的像素点个数；4)计算各分割层中像素点的深度值D_ε和各分割层深度均值D_ξ；5)遍历各层像素点，计算像素点深度值与其所属层深度值均值之间的差值Δ_i,Δ_i＝|D_ε‑D_ξ|  (1)6)根据Δ_i和分割阈值σ比较结果对各像素点的位置进行判断，并提取出所有分割层中的误分割像素点，其判断标准如下：7)遍历所有误分割像素点，计算像素点与所属分割层深度值均值之间的差值，将该点分配到与其差值最小的分割层中，得到优化后的分割图像；ω(X)＝argmin{Δ₁,Δ₂,...,Δ_k}  (3)式中：X表示像素点的坐标，Δ_k表示各点深度值与第k分割层深度值均值之间的差值，ω(X)表示计算后新的隶属层号；8)根据光流信息和优化后的分割结果，计算前后帧图像间像素点对应关系，并由四元数法求解各层运动的旋转矩阵和平移矩阵；式中：Α_i和B_i分别表示前后帧的对应像素点，R和τ分别表示旋转矩阵和平移矩阵；9)根据求得的像素点变换矩阵，计算各分割层在水平方向、垂直方向和深度方向上的运动分量，获得初始场景流(X₁,Y₁,Z₁)＝ψ_tk·α  (5)式(5)中，α＝(x₀,y₀)^T表示第一帧图像中的像素点，其对应的像素点为z₀，ψ_tk表示在t时刻、第k层的变换参数矩阵；式(6)中，c_x和c_y表示相机的中心，f_x和f_y表示相机在水平和垂直方向上的焦距；10)根据变形技术优化光流，然后通过优化后的光流与深度信息求解得到最终场景流结果(u,v,w)^T，优化的能量函数模型为：式(7)中，E_data和E_depth分别表示RGB数据项与深度图数据项：式(8)中，s_tk(x)由像分割结果得到的分层函数，0表示该数据无效，1代表该数据有效，I(x)和Z(x)分别表示灰度特征和深度值，ρ_c和ρ_d是鲁棒性参数；式(7)中，E_spa‑u、E_spa‑v、E_spa‑w为水平方向、垂直方向和深度方向上的运动约束项，λ_motion为运动约束项的权重系数；式(9)中，η_b和η_u为鲁棒性惩罚函数；其中ψ_tk＝(R_tk,τ_tk)^T表示第t帧图像，k分割层中像素的变换矩阵参数，N_x表示像素点x＝(x,y)^T周围毗邻的四个像素点；式(7)中，E_time是时间约束项，λ_time为其对应的权重系数；E_spa‑g为空间约束项，λ_support为其对应的权重系数；式(10)中，x＝(x+u_tk(x),y+v_tk(x))^T表示在时刻t、第k层的像素点x在下一时刻的对应点，其中{u_tk,v_tk}表示RGB图像平面的光流；式(11)中，N_x表示像素点x＝(x,y)^T周围毗邻的四个像素点，常量ω₀＝0.1为空间平衡系数，避免图像中局部区域产生亮度突变的情况。