[发明专利]一种用于化妆前后人脸图像自动识别方法

说明书

本发明公开了一种用于化妆前后人脸图像自动识别方法，包括如下步骤S1，对人脸数据进行特征提取；S2，使用基于面部关键性区域替换的数据集扩充算法扩充面部化妆数据集；S3，构建多示例的训练数据集；S4，采用关键性局部区域特征辅助学习任务网络进行全局特征和局部特征的提取，其后采用注意力机制的特征信息融合方法获得训练数据的最终特征，并不断训练和微调网络；S5，不断迭代重复步骤S2和步骤S3，直至网络收敛，实现人脸识别网络的训练；S6，在测试数据集上，给定待识别的化妆前后人脸数据，通过训练得到的人脸识别网络进行特征提取和相似度计算，从而实现人脸识别。

技术领域

本发明涉及计算机图像分析技术领域，特别涉及一种用于化妆前后人脸图像自动识别方法。

背景技术

人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。近年来，随着计算机视觉技术的迅速发展，人脸自动识别技术得到广泛研究与开发，人脸识别成为近30年里模式识别和图像处理中最热门的研究主题之一。并且随着近些年来深度学习技术的不断发展，人脸识别任务的精度已经得到大幅度提升。然而由于头部姿势的变化，遮挡，光线等影响，在实际应用中，人脸识别技术仍面临着许多挑战。

本发明的系统主要针对的是对化妆前后人脸图像进行自动识别任务。普遍的深度学习框架人脸识别模型在此任务上主要存在以下挑战：首先，由于化妆前后人脸数据集的规模很小，因其要求数据集为包含同一人的化妆前后照片，因而此类数据集目前最大也仅包含1000多张图片，数据的多样性严重缺乏，这对于深度网络结构的学习十分不利，极有可能造成模型过拟合问题；并且由于化妆在现代社会中已经成为日常生活中修饰自我的常用方式，可以大幅度遮盖脸部瑕疵、提亮面部肤色、深化眼部轮廓、描绘眉部轮廓、改变唇部底色、修饰面颊形态等，从而提升个人的魅力与自信心。但使用化妆品后的人脸面部特征会发生大幅度改变，极大程度上降低人脸识别任务精度。

近年来，也有相关研究工作尝试解决此类问题。

文献1(Y.Sun,L.Ren,Z.Wei,B.Liu,Y.Zhai,and S.Liu.A weakly supervisedmethod for makeup-invariant face verification.Pattern Recognition,66:153–159,2017)提出了将人脸识别模型在公开的大规模视频数据集上进行预训练，其后在小规模的面部化妆数据集上进行微调。但该方法要求大规模额外数据集，并且训练过程复杂，耗时较多。

文献2(Y.Li,L.Song,X.Wu,R.He,and T.Tan.Antimakeup:Learning a bi-leveladversarial network for makeup-invariant face verification.arXiv preprintarXiv:1709.03654,2017)提出了通过生成对抗网络，对于给定化妆后的面部图片生成素颜人脸图片的方法，缩小化妆前后面部特征见的巨大差异，从而使用常规人脸识别模型判别真实素颜图片和生成的素颜图片的身份信息。但该方法需要额外训练一个生成对抗网络，并且生成图片的真实性和质量都较为低下。

发明内容

本发明的目的是提供一种用于化妆前后人脸图像自动识别方法，考虑到数据集本身的特殊性以及面部特征的显著性，以此设计了基于面部关键性区域替换的数据集扩充算法和多示例学习的深度神经网络结构模型，从而解决了数据量小、多样性差的问题，同时从图像中获取表达能力更强的特征。基于以上改进，本发明提出的基于深度神经网络与脸部显著性特征对化妆前后人脸图像进行多示例学习的自动识别算法更具真实系统的实用性，且可以大幅度提升人脸识别任务的精度。

为了实现以上目的，本发明是通过以下技术方案实现的：

一种用于化妆前后人脸图像自动识别方法，其特点是，包括如下步骤：

S1，对人脸数据进行特征提取；