[发明专利]一种基于深度迁移学习的素描人脸识别方法

说明书

本发明公开了一种基于深度迁移学习的素描人脸识别方法，包括以下步骤：步骤一：建立深度卷积神经网络模型；步骤二：对CUFSF素描图像库中图像进行预处理；步骤三：对包含大规模自然人脸照片的LFW图像库进行预处理，将其作为初始训练样本训练网络，得到训练模型；步骤四：将训练模型迁移到用于素描画人脸照片的网络，得到预训练模型；步骤五：建立由参考图像、正样本图像、负样本图像构成的三元组图像；步骤六：将三元组图像组作为预训练模型的输入，利用反向传播算法最小化损失函数，训练得到最终的目标训练模型；步骤七：用测试集测试步骤六得到的目标训练模型，进行素描图像的人脸识别。本方法具有素描人脸图像的识别准确率高的优点。

技术领域

本发明涉及图像识别和深度学习技术领域，涉及一种基于深度迁移学习的素描人脸识别方法。

背景技术

人脸识别的一个重要应用就是辅助法律实施。实现公安部面部照片数据库的自动检索，可以迅速缩小嫌犯的范围。然而大多数情况下，嫌犯的照片是无法获取的。在没有监控或监控画面不清晰的场景下，最佳的替代品就是基于目击证人的描述，由肖像专家绘制的素描画。因此，用素描画来自动匹配照片数据库中的个体。但是嫌犯素描的人脸细节往往并不准确、人脸五官特征相对位置可靠性不高，同时五官特征存在被夸大的可能性。因此，嫌犯素描人脸识别的主要的挑战在于绘制的方式导致素描和照片之间存在人脸细节的差异、五官的相对位置和外观的差异、数据来源不同的差异等。

目前的素描识别方法主要有两类：一是先将人脸素描与照片图像转换后再进行匹配识别；二是不需要素描与照片的转换，直接进行匹配识别。

人脸素描与照片图像的转换。因素描和照片本身是两种模式下的图像，两者有一定的差异，先把照片转换为伪素描后再进行识别。一旦来自不同模态的图像被合成到同一个模态，就可以采用传统的人脸识别方法来解决识别问题。但是往往合成图像是比识别更复杂的任务；另外，由于素描画在人脸轮廓和面部特征上存在一定的形变和夸张，并且眼部位置和嘴唇位置等可能会不精确，即使合成到同一模态，识别的准确率仍与普通的自然人脸识别的结果相差甚远。

人脸素描与照片图像的直接匹配。在素描人脸识别过程中，对素描和照片人脸直接提取可识别的特征进行匹配识别，而不进行两者间的转换。一些基本的特征描述子包括SIFT、Gabor、Hog和LBP，还有一些是基于前面方法的改进，这些采用人工设计的特征作为匹配度量的方法不仅耗时，而且泛化能力较弱。另外应用比较多还有基于深度学习的特征提取方法，比如：堆栈式自编码、深度置信网络以及神经网络。但是有限的图像数据往往不能为训练提供足够的样本，容易引起过拟合。因而亟需发明一种在不过拟合的前提下能有效实现素描人脸图像与照片图像的直接匹配且素描人脸图像的识别准确率高的素描人脸识别方法。

发明内容

本发明的目的是提供一种在不过拟合的前提下能有效实现素描人脸图像与照片图像的直接匹配，并且素描人脸图像的识别准确率高的基于深度迁移学习的素描人脸识别方法。

为实现上述目的，本发明采用了如下技术方案：所述的一种基于深度迁移学习的素描人脸识别方法，包括以下步骤：

步骤一：建立用于特征提取的AlexNet深度卷积神经网络模型；

步骤二：对CUFSF(CUHK Face Sketch FERET Database)人脸素描图像库中的人脸素描图像及其自然人脸照片进行预处理，该图像库由人脸图像对构成，所述图像对由同一人的自然人脸照片及其对应的素描画人脸照片组成，并且图像对用于后面正样本图像的选取，预处理的具体步骤如下：

步骤(21)：将彩色图像转变为单通道的灰度图像；

步骤(22)：使用Viola-Jones面部特征检测器检测人脸并提取眼睛和鼻子的坐标；

步骤(23)：在传统人脸剪裁的基础上扩大剪裁区域，使得裁剪后整个脸部的发际线、颈部和耳朵可见；