[发明专利]一种基于三维变形人脸限制的人脸毛孔匹配方法

说明书

技术邻域

本发明属于计算机视觉研究邻域，涉及图像处理，三维人脸技术和深度学习方法，特别是涉及一种基于三维变形人脸限制的人脸毛孔匹配方法。

背景技术

人脸毛孔特征，和人脸瞳孔特征、指纹特征一样，是一种有效的身份认证特征。在毛孔特征匹配邻域内，有基于人脸整脸的皮肤毛孔特征匹配，有基于局部区域的皮肤毛孔特征匹配，但以上的匹配方法，均存在一定的不足，匹配区域过大，且毛孔在图像中颜色都是相近的，导致匹配的精确度不够；匹配区域过小，相应的特征点数量少，导致匹配的精确度不够。

如果采取一般的全图特征点全匹配，即为图像一有M个特征点，图像二有N特征点，匹配的次数即为M*N次，然后在利用RANSAC把不符合刚性匹配的匹配筛除。但人脸是非刚性的，不能单纯利用机械式的方法去计算。

发明内容

本发明的目的是提供一种基于三维变形人脸限制的人脸毛孔匹配方法，以提高人脸皮肤毛孔匹配的准确性，可以预先实现一个能生成皮肤毛孔特征的毛孔级别尺度不变特征变换算法，即PSIFT(Pore Scale Invariant Feature Transform)算法；并可以预先实现的毛孔级别尺度不变性特征变换算法，即3DDFA(3D Dense Face Alignment)算法；再利用三维人脸的坐标信息来限制毛孔匹配之间的区域，借此来获得准确的人脸毛孔匹配结果。

本发明提供如下技术方案：

一种基于三维变形人脸限制的人脸毛孔匹配方法，包括如下步骤：

(1)输入同一个人两份不同角度的人脸图像，得到图(一)和图(二)，对每份人脸图像进行预处理；

(2)通过毛孔级别尺度不变特征变换算法对步骤(1)中人脸图像的毛孔尺度的特征提取，确定人脸图像中多个毛孔特征点的皮肤毛孔特征；

(3)对步骤(1)中人脸图像进行五官定位及三维变形人脸拟合，将三维变形人脸拟合到人脸图像中；

(4)将步骤(3)中拟合后的图像进行三维变形人脸限制；

(5)将步骤(2)中提取的毛孔尺度的特征和步骤(4)中限制后的三维变形人脸进行毛孔尺度的关键点匹配；

(6)最终得到匹配结果，并通过匹配结果生成不同条件下的毛孔匹配数据库。

进一步地，所述预处理包括灰度化处理。

优选地，所述预处理还包括去除噪声处理。

进一步地，所述毛孔级别尺度不变特征变换算法，用作确定每个区域灰度图像中多个毛孔特征点的皮肤毛孔特征，其包括：

(1)针对每个区域灰度图像，使用多个不同大小的高斯核与该区域灰度图像进行卷积，生成多个具有不同分辨率的图像；

(2)将具有同一分辨率的图像的像素值进行差分运算；

(3)将进行差分运算后的图像中局部最暗的点确定为候选特征点；

(4)利用理想毛孔模型在确定的候选特征点中选择毛孔特征点；

(5)生成每个毛孔特征点的特征描述子，获得该区域灰度图像的每个毛孔特征点的皮肤毛孔特征。

进一步地，所述五官定位及三维变形人脸拟合，用作确定灰度图像中多个毛孔特征点的皮肤毛孔特征的三维坐标，其包括：

(1)对三维变形人脸进行参数的初始化；

(2)将此参数的三维变形人脸投影到平面上，记作投影图像I；

(3)把投影图像1和人脸图像作为卷积神经网络的输入，并使用卷积神经网络框架求三维变形人脸对于图像的变形参数的偏差；

(4)根据变形参数的偏差，修改三维变形人脸的变形参数，并将此参数的三维变形人脸投影到平面上，记作投影图像II。

进一步地，一次或一次以上地将投影的图像与人脸图像作为卷积神经网络的输入，并使用卷积神经网络框架求三维变形人脸对于图像的变形参数的偏差；

得到一次或一次以上的变形参数的偏差，用作修改三维变形人脸的变形参数，并将此参数的三维变形人脸投影到平面上，记作投影图像III，经过多次的变形参数的偏差修改三维人脸的变形参数后作出的投影，使三维变形人脸基本已和输入的人脸图像拟合。

优选地，所述的投影图像II即为三维变形人脸拟合到输入人脸图像的图像，投影图像II中的像素值即为三维变形人脸的三维坐标值。

优选地，所述的投影图像III即为三维变形人脸拟合到输入人脸图像的图像，投影图像III中的像素值即为三维变形人脸的三维坐标值。

进一步地，所述三维变形人脸限制是将五官定位及三维变形人脸拟合后的人脸图像代入三维人脸模型的计算公式：

中，求出 Vp(pore)的三维坐标