[发明专利]基于三维显著度的图像扭曲方法

摘要

本发明公开了一种基于三维显著度的图像扭曲方法，其特征是按如下步骤进行：1利用深度数据获得目标图像的深度图；2将深度图和二维模型结合起来构建三维显著度模型；3根据图像灰度的分布自适应的更新深度数据和二维模型之间的权重；4利用三维显著度模型计算图像能量函数梯度；5提取图像二维边缘和深度轮廓特征，利用特征点生成三角网格；6构建目标方程，增加约束；7对目标方程求极值，构建转换关系。本发明能将深度信息与二维显著度进行结合，并增强扭曲的鲁棒性。

主权项

一种基于三维显著度的图像扭曲方法，其特征是按如下步骤进行：步骤1：利用式(1)计算图像大小为m×n的目标图像I中每个像素点的能量函数E：$E(x,y)=\left|\frac{\mathrm{\δ}}{\mathrm{\δx}}I(x,y)\right|+\left|\frac{\mathrm{\δ}}{\mathrm{\δy}}I(x,y)\right|---\left(1\right)$式(1)中，E(x,y)为所述目标图像I在像素点(x,y)处的能量值；I(x,y)为所述目标图像I在像素点(x,y)处的灰度值；x∈(0,m)；y∈(0,n)；步骤2：对所述目标图像I进行特征提取，获得二维特征矩阵X；步骤3、利用式(2)获得所述目标图像I的二维显著度S_2D：$S_{2D}=\exp \left(\frac{-{\left|\right|X_i-X_j\left|\right|}^2}{2{\mathrm{\σ}}^2}\right)---\left(2\right)$式(2)中，X_i、X_j分别为所述二维特征矩阵两个不同行向量；σ为常数；步骤4、利用式(3)构建三维显著度模型S_3D：S_3D＝(1‑α)S_2D+α·E_depth          (3)式(3)中，E_depth为利用3D相机获取所述目标图像I的深度图，α为自适应参数；并有：$\mathrm{\α}=\frac{\underset{x,y=0}{\overset{m,n}{\mathrm{\Σ}}}n(x,y)\·{(I(x,y)-\stackrel{\‾}{I(x,y)})}^2}{D_{\max }}---\left(4\right)$式(4)中，n(x,y)表示等于像素点(x,y)灰度值的像素个数；D_max为常数；步骤5：利用式(1)和(3)将所述能量函数E重新定义为E'：E'(x,y)＝E(x,y)·S_3D(x,y)        (5)式(5)中，E'(x,y)为所述目标图像I在像素点(x,y)处的新能量值；步骤6：利用式(6)计算所述目标图像I的图像显著度S：$S((x_b,n),(x_a,n-1))=\underset{a=1}{\overset{b-1}{\mathrm{\Σ}}}|G_{a,n}^v-G_{a,n}^d|+\underset{a=a+1}{\overset{b}{\mathrm{\Σ}}}\left|G_{a,n}^v{G}_{a-1,n}^d\right|---\left(6\right)$式(6)中，(x_b,n)为所述目标图像I中第n列的第b个像素点，(x_a,n‑1)为所述目标图像I中第n‑1列的第a个像素点，a≠b，且a,b∈(0,m)；S((x_b,n),(x_a,n‑1))表示所述目标图像I中第n列第b个像素点x_b与第n‑1列第a个像素点x_a的能量差值；表示所述目标图像I水平方向v上的梯度；并有表示所述目标图像I对角线方向d上的梯度，并有$G_{a,n}^d=|E_{a,n}^{\′}-E_{a+1,n-1}^{\′}|;$步骤7、根据所述目标图像I的深度图，获得所述目标图像I中物体表面的轮廓；步骤8、利用Delaunay三角法将所述二维特征矩阵X中每个点连接起来并在所述目标图像上构建三角网格；所述三角网格包含若干个三角形t；步骤9、利用式(7)对所述三角网格中所有三角形进行扭曲：$G_t=\left(\begin{array}{cc}{s}_t^{\mathrm{\α}}& 0\\ 0& s_t^{\mathrm{\β}}\end{array}\right)---\left(7\right)$式(7)中，和分别为所述三角形t在横方向α和纵方向β上的扭曲；G_t表示对任一个三角形t的扭曲函数；步骤10、利用式(8)获得目标方程E_s：$E_s=\underset{t\∈T}{\mathrm{\Σ}}{S}_t{A}_t{\left|\right|J_t\left(q\right)-G_t\left|\right|}^2---\left(8\right)$式(8)中，T为所述三角形t的集合；A_t为所述三角形t的面积，J_t(q)表示对所述三角形t进行扭曲后的雅各比矩阵；S_t为任一个三角形t的显著度；步骤11：利用式(9)定义约束条件E_f：$E_f=\underset{t\∈T}{\overset{T}{\mathrm{\Σ}}}{\left|\right|(c_{t2}^q-c_{t1}^q)-r_i{R}_i(c_{t1}^q-c_t^q)\left|\right|}^2---\left(9\right)$式(9)中，为所述三角形t上的未经扭曲的三个顶点为所述三角形t上的三个顶点经过扭曲后的三个顶点；r_i是顶点和顶点之间的边与顶点和顶点之间的边的边长比，R_t是顶点和顶点之间的边与顶点和顶点之间的边所构成的旋转矩阵；步骤12：利用式(10)获得扭曲矩阵F：F＝λE_s+(1‑λ)E_f               (10)式(10)中，λ为系数；以所述目标图像I中每个三角形t按照扭曲矩阵F对应的值进行平移或者旋转实现对所述目标图像I的扭曲。