[发明专利]一种基于多任务迁移学习的人脸美丽预测方法

摘要

本发明提供一种基于多任务迁移学习的人脸美丽预测方法，包括构建多任务人脸数据库、特征学习、特征融合、以及人脸美丽预测模型的构建，本发明通过增加表情识别和年龄识别来增强人脸美丽预测的准确率；为了避免因少量样本数据训练深度网络出现过拟合，且计算设备不够，通过使用VGG、ResNet、GoogleNet骨干深度卷积网络作为共享特征学习网络结构，利用模型迁移，将训练好的卷积网络训练可迁移的共享特征。训练过程中每个任务之间共享网络参数，学习共享特征，从而提高网络对单任务学习的准确率；通过使用深度学习网络进行多任务学习，共享表示层可使具有共性的任务更好地结合相关性信息，任务特定层则可单独建模任务特定的信息。

主权项

1.一种基于多任务迁移学习的人脸美丽预测方法，其特征在于用深度学习网络进行多任务学习，共享表示层可使具有共性的任务更好地结合相关性信息，任务特定层则可单独建模任务特定的信息，从而有效实现共享信息和任务特定信息的统一；多任务是指人脸美丽预测、人脸表情识别、以及年龄识别，包括以下步骤：S1)、针对不同任务构建多任务学习人脸数据库，并对多任务学习人脸数据库中的每张人脸图像进行预处理；S2)、特征学习与融合，具体包括以下步骤：S201)、深度共享特征F_CNN的提取，采用训练好的VGG神经网络模型、GoogleNet神经网络模型以及ResNet神经网络模型的骨干网络作为深度共享特征学习网络模型，通过模型迁移的方法对在大型数据集上训练好的VGG神经网络模型、GoogleNet神经网络模型以及ResNet神经网络模型的参数进行迁移，运用多任务学习人脸数据库的人脸图像对网络模型进行微调，并提取深度共享特征F_CNN；S202)、由于人脸表情变化主要改变的是几何特征，提取多任务人脸图像的几何特征，利用dlib库对每张人脸图像进行k个人脸特征点检测和标注，得到每张人脸图像的人脸特征点坐标{(x₁,y₁),(x₂,y₂),…,(x_k,y_k)}，其中，人脸特征点坐标可以用于表示人脸的几何特征向量G，并且为了为保持平移不变性，将所有特征点的均值从特征点的x和y坐标中减去；同时为了保持尺度不变性，通过将几何特征向量G的组成部分除以其范数来将几何特征向量归一化为单位长度；S203)、由于年龄变化主要改变的是纹理特征，提取多任务人脸图像的纹理特征，纹理特征主要反映人脸图像灰度变化、以及人皮肤光滑性，将每张人脸图像分割成m个区域a₀,…,a_j,…,a_m‑1，其中，m为实数，统计每个区域的LBP局部纹理的直方图特征，即其中，i表示LBP的i种模式，i＝0,1,…,n‑1；j表示第j个区域，j＝0,1,…,m‑1，(x,y)表示图像像素点的离散坐标，I表示所有坐标的集合，H_i,j是区域a_j中第i种模式出现的总次数；将每个区域的直方图特征级联，形成二维图像的LBP直方图特征向量，即H＝[H_1,1,H_1,1,…,H_i,j,…,H_n‑1,m‑1]    (2)将提取的几何特征和纹理特征进行连接，得到特征向量T＝[G,H]；S204)、特征融合，通过Concate layer将几何特征G、纹理特征H和深度共享特征F_CNN进行拼接融合处理，得到拼接融合后的特征F_fusion，即，F_fusion＝[F_CNN,T]＝[F_CNN,G,H]；融合后的特征F_fusion连接全连接层FC2，该全连接层的输出为：其中，h为全连接层FC2运算函数映射关系，为权重矩阵的转置，x为全连接处FC2的输入向量，b_fusion为正则项矩阵；S3)、构建多任务迁移学习人脸美丽预测模型，基于3个不同的任务对模型设置3类不同的全连接层，并设置相应的损失函数，将提取的融合特征输入模型中进行训练，通过优化损失函数直至损失最小，得到训练好的多任务迁移学习人脸美丽预测模型；S4)、将待测试的人脸图像输入训练好的多任务迁移学习人脸美丽预测模型，实现多任务的人脸美丽预测、表情识别、年龄识别。