[发明专利]一种可抗姿态和表情变化的三维人脸校准方法

摘要

本发明公开了一种可抗姿态和表情变化的三维人脸校准方法，包含构造主动外观模型阶段和人脸校准阶段。构造主动外观模型是指，通过三维图像获取设备获取三维人脸，手动标定人脸重要标记点，通过人脸的网格形状及外观信息构造基于深度图的主动外观模型；测试人脸校准阶段是指，首先通过平均鼻子模型将人脸粗校准，然后将测试人脸与基于深度图的主动外观模型进行匹配，将人脸进行精校准。本发明通过由粗到精的方法能对抗人脸的姿态和表情变化，保证在自然条件下的人脸也能被准确校准，并且通过将三维人脸转化为深度图上处理，提高了校准效率，对促进三维人脸在身份认证方向上的实际应用有着重要作用。

主权项

一种可抗姿态和表情变化的三维人脸校准方法，其特征在于，该方法包括以下步骤：(1)构造主动外观模型阶段，具体包括以下子步骤：(1.1)采集训练人脸：通过三维图像获取设备获取中性姿态的人脸，作为人脸训练库，手动定位重要标记点，并通过扫描人脸与背景的分界线获得人脸的外轮廓点，得到足够的标记点；(1.2)生成人脸深度图：在三维人脸所在坐标系中，在x‑y坐标轴上以一定分辨率为间隔建立网格，将z轴坐标值采用双立方插值的方法插值到相应x‑y网格上，填补空洞，得到三维人脸网格图，将三维人脸网格图对x‑y坐标系投影，z轴坐标作为像素值，获得深度图，将对应的三维标记点投影到x‑y坐标系上，获得深度图上标记点的二维坐标；(1.3)人脸预处理：对步骤(1.2)获取的人脸深度图进行中值滤波去掉峰值点，进行高斯平滑滤波平滑人脸去除噪声，降采样到10万像素大小范围内的人脸；(1.4)校准人脸形状：由训练人脸所有的标记点构成的网格图表示人脸形状，采用普式分析的方法将人脸形状对齐到统一形状；(1.5)生成形状模型：将所有训练人脸的形状减去统一形状，并采用主成份分析的方法获取主成份，作为形状向量；形状模型表示如下：s=s0+Σi=1npisi,pi=si(s-s0)---(1)]]>其中pi表示形状参数，s0表示形状模型的基本形状，s表示任意形状模型的实例，s＝(x1,y1,x2,y2,…,xv,yv)T，si(i＝1,2,…,n)表示形状向量，n表示形状的维数，v表示标记点的个数；(1.6)训练人脸形状标准化：将基本形状s0进行三角形网格化，并将所有训练人脸的外观根据其形状向基本形状s0变形，形成具有基本形状的人脸，其中变形采用分段线性变形方法，即将两个网格形状内的对应三角形进行仿射变换；(1.7)生成主动外观模型：将步骤(1.6)形状标准化的训练人脸，采用主成份分析的方法获取主成份，作为外观向量；外观模型表示如下：M(x)=A0(x)+Σi=1mλiAi(x),λi=Ai(x)T(M(x)-A0(x))---(2)]]>其中λi表示外观模型的参数，M(x)表示任意外观模型的实例，A0(x)表示标准外观模板，Ai(x)(i＝1,2,…,m)表示外观向量，M(x)、A0(x)和Ai(x)均为二维图像，m表示外观向量的维数；(2)测试人脸校准阶段，具体包括以下子步骤：(2.1)采集人脸测试库：通过三维图像获取设备获取不同姿态及表情变化的三维人脸，作为人脸测试库；(2.2)生成人脸深度图：对于测试库中所有三维人脸，在三维人脸所在坐标系中，在x‑y坐标轴上以一定分辨率为间隔建立网格，将z轴坐标值采用双立方插值的方法插值到相应x‑y网格上，填补空洞，得到三维人脸网格图，将三维人脸网格图对x‑y坐标系投影，z轴坐标作为像素值，获得深度图；(2.3)人脸预处理：对步骤(2.2)获取的人脸深度图进行中值滤波去掉峰值点，进行高斯平滑滤波平滑人脸去除噪声，降采样到10万像素大小范围内的人脸；(2.4)人脸粗校准，具体子步骤如下：(2.4.1)在训练库中选择中性姿态和中性表情的人脸，以鼻尖点为基准进行叠加并平均，得到平均脸，从平均脸上分割出鼻子区域，作为平均鼻子模型；(2.4.2)将测试库中所有的三维人脸以旋转角度β绕Y轴旋转，得到一系列旋转后的三维人脸；其中β∈[‑90°,90°]，以6°为步长，每张测试库中的人脸均有R＝31个旋转角度；旋转公式如下：xiβyiβziβ=cosβ0sinβ010-sinβ0cosβxiyizi---(3)]]>其中，某三维坐标点表示为(xi,yi,zi)(i＝1,2,…,N)，对应输出的旋转坐标点为根据步骤(2.2)中的方法，将旋转后的三维人脸转化为深度图；(2.4.3)将步骤(2.4.2)得到的人脸深度图与步骤(2.4.1)得到的平均鼻子模型进行以标准互相关为准则的模板匹配，得到标准互相关图；(2.4.4)计算标准互相关图的最大相关系数，最大相关系数在标准互相关图中的位置为鼻子区域所在位置，获得对应的鼻尖点及旋转角度βt；(2.4.5)根据式(3)以旋转角度βt绕Y轴旋转测试人脸，进行粗校准；(2.4.6)以检测的鼻尖点为圆心以人脸宽度为直径作圆分割出人脸的有效区域；(2.5)将经过粗校准的人脸与主动外观模型进行匹配，设置目标函数，通过迭代的方式计算模型的参数，最小化目标函数可表示为：argminp,λ||I(W(x;p))-A0(x)-Aλ||2---(4)]]>其中W(x；p)表示分段线性变形函数，I为测试人脸深度图，A＝[A1,A2,...,Am]表示外观向量的组合，λ＝[λ1,λ2,...,λm]表示外观参数的组合；(2.6)采用反向融合方式通过迭代搜索进行参数更新直到目标函数收敛，具体子步骤如下：(2.6.1)预计算：计算标准外观模板A0(x)及外观向量Ai(i＝1,2,…,m)的梯度计算W(x；p)在p＝0处的雅可比矩阵计算梯度图像计算A的投影正交补集P＝E‑AAT；(2.6.2)根据W(x；p)将人脸图像I变形为I(W(x；p))；(2.6.3)计算梯度联合图像其中J＝[J0,J1,...,Jm]表示梯度图像Ji(i＝0,1,…,m)的组合，λ'＝[1,λ1,λ2,...,λm]∈Rm+1；计算海森矩阵(2.6.4)计算形状参数p的迭代更新量更新仿射变换表示融合计算；(2.6.5)计算外观参数λ的迭代更新量Δλ＝AT(I‑A0‑Aλ‑JΔp)，更新参数λ←λ+Δλ，返回步骤(2.6.2)迭代，直至目标函数收敛，此时，输入测试人脸变形为基本形状，实现可抗姿态和表情变化的三维人脸校准。