[发明专利]基于多任务迁移的人脸美丽预测方法及装置

说明书

本发明公开了基于多任务迁移的人脸美丽预测方法及装置，实施了以下步骤，包括对多个任务进行基于图结构的相似性度量，得到多个所述任务间的最佳组合；基于最佳组合构建包含特征共享层的人脸美丽预测模型；将特征参数迁移至特征共享层；预训练人脸美丽预测模型；以及输入待测人脸图像至训练好的所述人脸美丽预测模型进行识别，达到了减少了深度学习任务的冗余度，减轻了网络训练的负担，提升网络分类识别的效率和精度的效果。

技术领域

本发明涉及图像处理领域，特别是基于多任务迁移的人脸美丽预测方法及装置。

背景技术

人脸美丽预测技术在拍照领域得到广泛的应用。同时，随着深度学习技术的发展，将深度学习技术应用到人脸美丽预测技术上使人脸美预测结果更精确，更符合人们的认知。但单任务学习忽略了任务之间的关联，而多任务学习又使不必要的组合添加至深度学习网络中，增加了深度学习任务的冗余度，也加重了网络训练的负担，严重影响到分类识别的效率。

发明内容

本发明的目的在于至少解决现有技术中存在的技术问题之一，提供基于多任务迁移的人脸美丽预测方法及装置，通过相似性度量减少计算量。

本发明解决其问题所采用的技术方案是：

本发明的第一方面，基于多任务迁移的人脸美丽预测方法，包括以下步骤：

对多个任务进行基于图结构的相似性度量，得到多个所述任务间的最佳组合，其中多个所述任务包括为人脸美丽预测的主任务以及若干个对人脸美丽因素识别的辅助任务；

基于所述最佳组合构建人脸美丽预测模型，其中所述人脸美丽预测模型包括用于提取多个所述任务的共享图像特征的特征共享层；

将现有的大型人脸图像网络的特征参数迁移至所述人脸美丽预测模型的特征共享层；

输入训练用人脸图像对所述人脸美丽预测模型预训练；

输入待测人脸图像至训练好的所述人脸美丽预测模型，得到人脸识别结果。

根据本发明的第一方面，所述对多个任务进行基于图结构的相似性度量，得到多个所述任务间的最佳组合包括以下步骤：

对多个所述任务的每个任务分别构建特定网络并进行训练得到每个任务的特征表达E_s(I)；

对多个所述特定网络的顶点和路径进行匹配以构建多个所述任务间的迁移网络；

度量多个所述任务间的任务紧密度，所述任务紧密度的计算方式为：式中I是输入，D是数据集，f_t(I)是第t个输入I的真实值，L_t是真实值与预测值之间的损失，E_IeD表示期望值；

计算多个所述任务间的关联矩阵，所述关联矩阵中的每个元素为

构建一个有向无环图结构，将每个任务作为图结构的节点，将关联矩阵作为图结构的监督值，通过最小化监督预算来寻求最优的路径，得到多个所述任务间的最佳组合。

根据本发明的第一方面，所述人脸美丽预测模型还包括用于预处理训练用人脸图像和待测人脸图像的预处理层，用于提取多个所述任务的独立特征的独立特征提取层，用于融合独立特征和与每个任务对应的几何特征、纹理特征的特征融合层，以及分类层。

根据本发明的第一方面，所述特征共享层根据所述最佳组合配置基础参数；在将所述特征参数迁移至所述特征共享层的步骤中，对比所述特征参数与所述基础参数，对与所述基础参数对应的特征参数进行迁移。

根据本发明的第一方面，所述辅助任务包括表情识别、性别识别和年龄识别，所述人脸识别结果包括与所述主任务对应的人脸美丽预测结果以及与所述辅助任务对应的表情识别结果、性别识别结果和年龄识别结果。