[发明专利]一种面部图像中特征点的定位方法

权利要求书

1.一种面部图像中特征点的定位方法，其特征在于：包括模型训练阶段和图像搜索阶段；在模型训练阶段，选取足够数量的正常人脸图像和不同光照下的人脸图像作为训练集合，手工标定好每幅训练图像准确的特征点位置，并建立活动形状模型和局部纹理模型，该模型训练阶段仅需执行一次；在图像搜索阶段，首先确定目标图像准确的瞳孔位置，以初始化活动形状模型的初始位置，然后通过迭代使模型拟合到准确的目标特征点位置。

2.根据权利要求1所述的一种面部图像中特征点的定位方法，其特征在于：模型训练阶段的处理方法为：从CAS-PEAL-R1人脸数据库中选择N幅训练图像作为输入；从IMM与CAS-PEAL-R1人脸库中选取了200幅正常人脸图像和200幅不同光照下的人脸图像，构成人脸图像训练集合，则训练图像数量N=400；手工标定好每幅训练图像准确的n个特征点的位置，n=68，记录每个特征点的坐标，合成N个形状向量X_u，即

X_ui＝(x_i0,y_i0,x_i1,y_i1,…,x_ik,y_ik,…,x_i(n-1),y_i(n-1))^T，i=0,1,…,N-1其中，x_ik、y_ik分别为第i幅训练图像中特征点k的横、纵坐标，0≤k<n；所述的训练样本对齐模块的输入为形状向量X_u，输出端与活动形状模型建立模块的输入端相连接，所述的活动形状模型建立模块输出端与特征点拟合模块相连接，所述的局部纹理模型建立模块的输入为形状向量X_u，输出端与特征点拟合模块相连接；形状向量X_u经过训练样本对齐模块处理后，输出对齐后的形状向量X，活动形状模型建立模块根据对齐后的形状向量X生成活动形状模型，供特征点拟合模块使用；局部纹理模型建立模块根据形状向量X_u生成局部纹理模型，供特征点拟合模块使用，所述的训练样本对齐模块、活动形状模型建立模块、局部纹理模型建立模块仅在活动形状和局部纹理模型建立时执行一次；

训练样本对齐模块的处理步骤如下：

(a)计算权重矩阵W首先，计算第i个形状中特征点m与特征点l的距离R_iml

Riml=(xim-xil)2+(yim-yil)2]]>

其中，(x_im,y_im)为第i个形状中特征点m的坐标，(x_il,y_il)为第i个形状中特征点l的坐标；

然后，根据计算特征点m与特征点l距离的方差V_Rml，并计算特征点m的加权值w_m

Riml‾=1NΣi=1NRimlVRml=1nΣi=1N(Riml-Riml‾)]]>

wm=(Σl=0n-1VRml)-1]]>

其中，R_iml表示第i个形状中特征点m与特征点l的距离，w_m表示特征点m的稳定程度；

最后，以w_m为对角线计算对角矩阵W，并将其作为权重矩阵；

W=w000000w1000···············000wm-200000wm-1]]>

(b)选取X_u中的第一个形状向量作为初始平均形状

(c)将每个形状向量X_ui向平均形状对齐；首先根据式(1)计算仿射变换所需的四个参数：缩放尺度s、旋转角度θ、平移向量t，平移向量t包括x轴平移量t_x，y轴平移量t_y，

M′=axaytxty=(BTWTWB)-1BTWTWXu‾---(1)]]>其中，B=xui0-yui010yui0xui001············xui(n-1)-yui(n-1)10yui(n-1)xui(n-1)01,ax=scosθay=ssinθ]]>

根据仿射变换的四个参数M′，通过式(2)对每一个形状向量X_ui进行平移、旋转和缩放操作，使它们向平均形状对齐；

Xui′=M(θ,s)Xui+t=xui0-yui010yui0xui001············xui(n-1)-yui(n-1)10yui(n-1)xui(n-1)01scosθssinθtxty---(2)]]>

(d)计算对齐后所有形状向量的平均形状；

Xu′‾=1NΣi=1NXui′]]>

(e)重复(c)、(d)两步，直到两个相邻的平均形状收敛；在对齐结束后，输出对齐后的形状向量X；

判断两相邻平均形状收敛的方法，即将两个平均形状代入式(1)，求出s、θ、t，如果|s-1|<0.001，|θ|<0.001π/180，|t|<0.01这三个条件同时满足，则认为两个平均形状收敛；否则，认为尚未收敛；

活动形状模型建立模块的处理步骤如下：

该模块的输入为对齐后的形状向量X，用对齐后的数据进行活动形状建模，建模结束后，输出活动形状模型，具体步骤如下：

(a)计算出对齐后的N个形状向量的平均值，即平均形状

X‾=1NΣi=1NXi]]>

(b)求出N个形状向量的协方差矩阵

F=1NΣi=1N(Xi-X‾)(Xi-X‾)T]]>

(c)求出该协方差阵的特征值λ_i，从大到小排序及其对应的特征向量p_i，i=0,1,…,2n-1；

(d)根据条件选取前k个最大的特征值，并将前k个特征值对应的特征向量构成主成分矩阵P=(p₀,p₁,…,p_k-1)；

(e)利用式(3)构建活动形状模型；

X=X‾+Pb---(3)]]>

其中，为平均形状，P为主成分矩阵，b为t×1的形状参数；如果b的变化太大，式(3)计算出的新形状有可能不是人脸形状，因此需用式(4)对b进行约束；

-3λi≤bi≤3λi---(4)]]>其中，λ_i为协方差矩阵F的特征值；如果，则将b_i约束为如果b_i>则将b_i约束为

局部纹理模型建立模块的处理步骤如下：

该模块的输入为未对齐的N个形状向量X_u以及它们对应的N幅训练图像；建模之后，输出每个特征点的平均LBP直方图，即局部纹理模型；其具体步骤如下：

(a)在第i幅图像的特征点j处，以该特征点为中心选取一个25×25的正方形，该正方形的两边分别平行于x方向和y方向,并将该正方形划分为4个子区域；

(b)利用统一算子计算子区域中每个点的LBP编码值，然后根据式(6)统计每个子区域的LBP直方图；

统一LBP算子，记为定义为

其中，v_c为中心点(x_c,y_c)的灰度值，v_i为其余各点的灰度值，g(x)表示该二进制串的跳变次数，g(LBPP,Ru2)=|fun(vP-1-vc)-fun(v0-vc)|+Σi=1P-1|fun(vi-vc)-fun(vi-1-vc)|,]]>fun(x)=1,x≥00,x<0,]]>

直方图是LBP算子描述局部纹理特征的方法，其定义为

Hi=Σx,yI{L(x,y)=i},i=0,1,···,Q-1---(6)]]>其中，Q为LBP模式的数量，即直方图的数量；L(x,y)表示图像I在点(x,y)处的LBP编码值；I(X)定义为并根据在图像上由左至右，由上至下的顺序将每个子区域的LBP直方图进行级联，作为该特征点的LBP直方图；

(c)使用相同方法计算出N幅训练图像特征点j的LBP直方图，并求取它们的平均直方图作为特征点j的LBP直方图，即特征点j的局部纹理模型；

计算出局部纹理模型，则目标图像中某个特征点与活动形状模型中特征点j相似度可以用下式表示：

χ2(Hij,Hi‾)=Σk(Hij(k)-Hi‾(k))2(Hij(k)+Hi‾(k))]]>

其中，H_ij为目标图像中特征点i邻域中第j个位置的LBP直方图，为局部纹理模型中特征点i的平均直方图；值越小，说明目标特征点与特征点j的相似度越大，所以在图像搜索过程中可以据此来确定特征点j的最佳匹配位置。

3.根据权利要求1所述的一种面部图像中特征点的定位方法，其特征在于：图像搜索阶段的步骤包括如下：

(1)瞳孔定位模块

(2)特征点拟合模块

该模块的输入为目标图像、目标图像左右瞳孔的位置坐标(x₁,y₁)和(x₂,y₂)、活动形状模型以及局部纹理模型，其功能是根据局部纹理模型和式(4)所示的直方图相似性的判断方法，通过反复迭代，使得活动形状模型收敛至准确的目标特征点位置；特征点拟合模块的主要步骤如下：

(a)计算活动形状模型的初始位置；首先取出主动形状模型中左右瞳孔的坐标，分别为(x₁′,y₁′)和(x₂′,y₂′)，并计算出缩放尺度s和旋转角度θ，

s=dd′=(x1-x2)2+(y1-y2)2(x1′-x2′)2+(y1′-y2′)2θ=arctany2-y1x2-x1]]>

其中，(x₁,y₁)和(x₂,y₂)分别为目标图像中左右瞳孔坐标；

令平移向量t=0，根据式(15)对活动形状模型进行缩放和旋转，得到一个临时形状，且临时形状左瞳孔的坐标为(x₁″,y₁″)，然后计算出平移向量

t＝(t_x,t_y)^T＝(x₁-x₁″,y₁-y₁″)^T

且令s=0，θ=0，继续用式(2)对临时形状进行平移，得到模型的最终初始位置x_t；

(b)初始化姿态参数s=0、θ=0、t=0以及形状参数b=0；

(c)每次循环开始，模型对应的初始位置为X=M(s,θ)+t，其中，M(s,θ)的计算见式(15)，x=x_t+Pb；

(d)计算每个特征点的新位置，首先将当前循环活动形状模型的初始位置覆盖在图像上，对于模型中第j个特征点，沿着特征点法线方向，即沿前一个特征点与后一个特征点连线的垂直方向，在该特征点左右两侧各取12点，加上特征点j构成一个长度为25的搜索邻域；然后，对于搜索邻域中的每一个点，以该点为中心选取一个25×25的正方形，该正方形的两边分别平行于x轴方向和y轴方向；并将该正方形划分为4个子区域，根据式(6)计算每个子区域的统计LBP直方图，将每个子区域的LBP直方图进行级联，作为该点的统计LBP直方图；最后，利用式(4)计算搜索邻域中每个点的统计LBP直方图与特征点j的平均直方图的相似度，选取与平均直方图最接近的直方图所对应的点作为特征点j的最佳更新位置；特征点的更新必然会产生一个位移，所有特征点的位移可组成向量dX=(dX₀,dX₁,dX₂,…,dX_n-1)；

(e)更新姿态参数，包括缩放尺度s，旋转角度θ，平移向量t及形状参数b；此次循环的初始位置为X=M(s,θ)x+t，将X向X+dX对齐，得到新的姿态参数t+dt，s(1+ds)，θ+dθ，从而可以得到如下公式：

M(s(1+ds),θ+dθ)(X‾+Pb+dx)+t+dt=X+dX]]>

求出dx

y=M(s,θ)(X‾+Pb)+dX-(t-dt)dx=M{[s(1+ds)]-1,-(θ+dθ)}y-(X‾+Pb)]]>

最后求出形状参数b的变化量db

x=X‾+Pb+dx≈X‾+P(b+db)]]>

db≈P^Tdx，

得到参数的变化量之后，利用

t→t+wtdtθ→θ+wθdθs→s(1+wsds)b→b+wbdb]]>

对参数进行更新；其中，w_t、w_θ、w_s和w_b为控制参数变化的权重；另外，更新b后，需用式(4)对其进行调整；

(f)根据更新后的形状参数b，得到新形状x=x_t+Pb，若该形状与原形状的差别足够小即db小于阈值0.0001，或者循环次数已经达到最大次数40次，则搜索完成；否则，回到第(c)步，继续进行处理。