[发明专利]一种抗表情、姿态和遮挡变化的三维人脸标记点检测方法

摘要

本发明公开了一种抗表情、姿态和遮挡变化的三维人脸标记点检测方法，包含构造平均鼻子模型阶段和检测标记点阶段。构造平均鼻子模型是指通过三维图像获取设备获取三维人脸，手动标定人脸标记点，训练平均鼻子模型；检测标记点阶段是指将旋转角度加入三维人脸数据，与平均鼻子模型进行模板匹配，控制旋转角度检测标记点。本发明方法通过构造平均鼻子模型和设置旋转角度，能够对抗人脸的表情、姿态和遮挡变化，并通过将三维人脸转化为深度图，加快检测效率，对促进三维人脸在身份认证方向上的实际应用有着重要作用。

主权项

一种抗表情、姿态和遮挡变化的三维人脸标记点检测方法，其特征在于，该方法包括以下步骤：(1)构造平均鼻子模型阶段，包括以下子步骤：(1.1)采集训练人脸：通过三维图像获取设备获取中性姿态和中性表情的人脸，作为人脸训练库，并手动定位重要标记点；(1.2)校准人脸形状：由训练人脸标记点构成的网格图表示人脸形状，采用普式分析方法将所有人脸形状对齐到统一的形状，并构建以鼻尖点为球心的球形分割人脸，以去除人脸的无效部分；(1.3)生成人脸深度图：在三维人脸所在坐标系中，在x‑y坐标轴上以一定分辨率为间隔建立网格，将z轴坐标值采用双立方插值的方法插值到相应x‑y网格上，填补空洞，得到三维人脸网格图，将三维人脸网格图对x‑y坐标系投影，z轴坐标作为像素值，获得深度图；(1.4)人脸预处理：对步骤1.3获取的人脸深度图进行中值滤波去掉峰值点，进行高斯平滑滤波平滑人脸去除噪声，降采样到10万像素大小范围内的人脸；(1.5)生成平均人脸模型：以鼻尖点为基准，将所有训练人脸深度图进行叠加取其平均，得到平均人脸模型，设输入人脸深度图为Ii,i＝1,2,…,K,则平均人脸模型AFM计算如下式：AFM(u,v)=Σi=1KIi(u,v)---(1)]]>其中AFM(u,v)和Ii(u,v)分别表示AFM和Ii对应坐标位置的像素值，K表示人脸数量；(1.6)生成平均鼻子模型：将鼻子区域从平均人脸模型分割出来，得到平均鼻子模型；在平均鼻子模型的基础上分别构建左半平均鼻子模型和右半平均鼻子模型；所述鼻子模型设置为矩形，包含鼻子的形状，并且保证无用信息较少；(2)检测标记点阶段，包括以下子步骤：(2.1)采集测试人脸：通过三维图像获取设备获取任意表情、姿态和遮挡变化的三维人脸，作为人脸测试库；设测试库中有M张人脸，任意一张人脸F为3×N的矩阵，N是人脸F的点云数量，F表示如下式：F=x1,x2,...,xNy1,y2,...,yNz1,z2,...,zN---(2)]]>(2.2)绕Y轴旋转：将测试库的一张人脸以角度β绕Y轴旋转，得到R张三维人脸；旋转公式如下式：xiβyiβziβ=cosβ0sinβ010-sinβ0cosβxiyizi---(3)]]>其中，三维坐标点表示为(xi,yi,zi)(i＝1,2,…,N)，对应输出的旋转坐标点为其中β∈[‑90°,90°]，以6°为步长，每张测试库中的人脸均有R＝31个旋转角度；对测试库中M张人脸进行旋转，得到M×R张旋转后的三维人脸；(2.3)生成人脸深度图：对于步骤2.2旋转后的三维人脸，在三维人脸所在坐标系中，在x‑y坐标轴上以一定分辨率为间隔建立网格，将z轴坐标值采用双立方插值的方法插值到相应x‑y网格上，填补空洞，从而得到三维人脸网格图，将三维人脸网格图对x‑y坐标系投影，z轴坐标作为像素值，获得深度图；(2.4)人脸预处理：对步骤2.3获取的人脸深度图进行中值滤波去掉峰值点，进行高斯平滑滤波平滑人脸去除噪声，降采样到人脸大小在10万像素范围以内；(2.5)模板匹配，该步骤包括以下子步骤：(2.5.1)将步骤2.4预处理后的人脸深度图与步骤1.6得到的三个平均鼻子模型进行以标准互相关为准则的模板匹配，标准互相关方法表示如下：NCT,I(x,y)=Σu=-mmΣv=-nnT(u,v)·I(x+u,y+v)Σu=-mmΣv=-nn(T(u,v))2Σu=-mmΣv=-nn(I(x+u,y+v))2---(4)]]>其中，模板图像T大小为(2m+1)×(2n+1)，待检测的图像为I，(x,y)为模板T左上角对应在图像I上的坐标，T(u,v)表示模板坐标(u,v)下的像素值，I(x+u,y+v)表示检测图像中坐标(x+u,y+v)的像素值；NCT,I(x,y)为标准互相关图；(2.5.2)对于每张人脸深度图，模板匹配之后都得到三张标准互相关图，分别保留最大值作为对应三个平均鼻子模型的匹配系数；(2.5.3)计算步骤2.5.2得到的三个匹配系数中的最大系数Ci，记下该系数对应的旋转角度βi，最大系数在标准互相关图中的位置为鼻子区域所在位置，获取对应的鼻尖点；(2.5.4)将测试库中的一张三维人脸旋转后的R个深度图对应的R个匹配系数{C1,C2,…,CR}进行降序排序，得到{CS1,CS2,…,CSR}；(2.5.5)设置阈值T，如果最大的匹配系数CS1大于阈值T，那么直接选取CS1对应的鼻尖点作为最终的鼻尖点，结束算法；否则，如果CS1小于阈值T，执行步骤2.5.6；(2.5.6)统计步骤2.5.4中排前十的匹配系数对应鼻尖点坐标的出现次数，将出现次数最多的鼻尖点坐标定为最终的鼻尖点；(2.6)采用同样方法检测步骤1.1手动定位的人脸其他重要标记点，最终得到所有的抗表情、姿态和遮挡变化的三维人脸标记点，完成三维人脸标记点检测。