[发明专利]一种用于化妆前后人脸图像自动识别方法

权利要求书

1.一种用于化妆前后人脸图像自动识别方法，其特征在于，包括如下步骤：

S1，对人脸数据进行特征提取；

S2，使用基于面部关键性区域替换的数据集扩充算法扩充面部化妆数据集；

S3，构建多示例的训练数据集；

S4，采用关键性局部区域特征辅助学习任务网络进行全局特征和局部特征的提取，其后采用注意力机制的特征信息融合方法获得训练数据的最终特征，并不断训练和微调网络；

S5，不断迭代重复步骤S2和步骤S3，直至网络收敛，实现人脸识别网络的训练；

S6，在测试数据集上，给定待识别的化妆前后人脸数据，通过训练得到的人脸识别网络进行特征提取和相似度计算，从而实现人脸识别；所述的步骤S2包括：

步骤S2.1，计算每一张基准人脸图片对应特征向量分别和所有候选图片特征向量之间的余弦距离作为相似度，并根据相似度对候选图片进行排序，对任一基准人脸图片，从候选图片集中挑选置信度高的候选图片；

步骤S2.2，对任一一对基准人脸图片和候选图片，进行人脸关键点检测，并根据关键点将基准图片中多个关键区域之一替换为候选图片中对应区域的图像，其他区域保持不变，实现面部化妆数据集扩充。

2.如权利要求1所述的用于化妆前后人脸图像自动识别方法，其特征在于，所述的步骤S1包括：

步骤S1.1，使用带标签的大量辅助数据对基础特征提取网络进行预训练，得到具有初始化参数的人脸识别预训练网络；

步骤S1.2，将面部化妆数据集中的样本作为基准人脸图片，未标注的辅助数据作为候选图片，用此基础特征提取网络对所有人脸图片进行特征提取。

3.如权利要求1所述的用于化妆前后人脸图像自动识别方法，其特征在于，所述的步骤S3具体为：

在扩充后的面部化妆数据集中，将原先单个示例的训练集重组成多示例的包训练数据，并将所述的包训练数据送入到关键性局部区域特征辅助学习任务网络。

4.如权利要求3所述的用于化妆前后人脸图像自动识别方法，其特征在于，所述组成多示例的包训练数据包括：对于任一基准图片，从由其扩充的数据集中随机挑选部分图片组成一个包，即每个包包含1张基准图片及若干个由其生成扩充的新人脸图片。

5.如权利要求1所述的用于化妆前后人脸图像自动识别方法，其特征在于，所述的采用关键性局部区域特征辅助学习任务网络进行全局特征和局部特征的提取包括：

将训练数据送入全局特征提取网络后得到全局特征，将训练数据中的多个关键区域分别送入相应的局部特征提取网络得到局部特征，并且完成相应的局部区域识别任务。

6.如权利要求5所述的用于化妆前后人脸图像自动识别方法，其特征在于，所述的采用注意力机制的特征信息融合方法获得训练数据的最终特征包括：

将利用关键性局部区域特征辅助学习任务网络得到的全局特征和局部特征，根据注意力机制进行全局特征和局部特征的融合，生成最终特征。