[发明专利]一种基于多尺度深度的人脸美丽预测方法

权利要求书

1.一种基于多尺度深度的人脸美丽预测方法，其特征在于，包括以下步骤：

S1)、获取人脸图像、以及人脸美丽图像作为训练图像；

S2)、对训练图像中的人脸图像、以及人脸美丽图像进行相同的预处理，得到预设大小的图像；

S3)、构建多尺度的CNN模型，该所述的多尺度CNN模型包括第一输入层、第二输入层、第三输入层，以及多个BMC单元、多个池化层、下采样层、多个全连接层，其中，每个BMC由单元BN层、MFM激活层以及卷积层构成，

第一输入层与第二输入层的输出端依次与BMC3、BMC4、池化层P2串联连接；

第三输入层与池化层P2的输出端依次与BMC5、BMC6、池化层P3、BMC7、BMC8、BMC9、BMC10、池化层P4、全连接层Fc1、下采样层、全连接层Fc2串联连接，将第一输入层得到的美丽特征与第二输入层得到的美丽特征结合来，经过堆积的BMC3、BMC4、池化层P2与第三输入层提取的美丽特征结合起来，并经过多个BMC单元提取到更深层次的多尺度特征；

S4)、将步骤S2)中预处理的人脸图像输入到CNN模型中进行预训练，提取人脸图像的深层泛化特征，得到预训练的人脸美丽预测CNN模型；

S5)、然后将步骤S2)中处理的人脸美丽图像输入到预训练的人脸美丽预测CNN模型中进行再训练，提取人脸图像的统一深层次特征表达，并计算人脸美丽预测的正确率，多次迭代直至正确率不再增加且在最大正确值附近波动时，减少学习速率继续训练，并且将训练图像通过模型，用全连接层参数计算损失误差，将计算得到的损失误差反向传播更新模型参数，得到训练好的最终人脸美丽预测CNN模型；

S6)、将测试人脸图像输入到最终训练好的人脸美丽预测CNN模型中，进行人脸美丽预测，并输出预测结果。

2.根据权利要求1所述的一种基于多尺度深度的人脸美丽预测方法，其特征在于：步骤S2)中，所述的图像预处理的步骤如下：

利用Haar人脸检测器对训练图像进行快速人脸检测，得到人脸区域图像，然后利用基于SDM的关键点检测技术检测人脸区域图像中的人脸关键点，并找出代表眉毛、眼睛、嘴巴位置的关键点，通过关键点估算出人脸图像的Roll角度，再旋转图像来纠正Roll角度，其中，Roll角度θ为眉毛间斜角θ_b、眼睛间斜角θ_e和嘴巴斜角θ_m的平均值，即θ＝mean(θ_b,θ_e,θ_m)，通过Roll角度θ对图像进行仿射变换处理，得到人脸对齐图像，对经人脸对齐后的图像进行裁剪和缩放，将人脸对齐图像裁剪为一定大小。

3.根据权利要求1所述的一种基于多尺度深度的人脸美丽预测方法，其特征在于：步骤S3)中，第一输入层由依次串联连接卷积层C0、BMC1、BMC2、池化层P1组成，其中卷积层C0为卷积核大小为5×5，滑动步长为1，填充为2，并且第一输入层输入的训练图像大小为128x128；

第二输入层由卷积层C1_1以及该卷积层C1_1输出端串联的激活层MFM构成，其中，卷积层C1_1为卷积核大小为1×1，滑动步长为1，并且第二输入层输入的图像大小为64x64；

第三输入层由卷积层C1_2以及该卷积层C1_2输出端串联的激活层MFM构成，其中，卷积层C1_2为卷积核大小为1×1，滑动步长为1，并且第三输入层输入的图像大小为32x32；

并且卷积层C0、卷积层C1_1、卷积层C1_2的输出端串联有Batch Normalization(BN)操作，从而提高网络的收敛速度以及网络的泛化能力，通过第一输入层、第二输入层、第三输入层提取到人脸美丽的多尺度特征。

4.根据权利要求1所述的一种基于多尺度深度的人脸美丽预测方法，其特征在于：步骤S3)中，全连接层Fc1的输出端依次串联有Batch Normalization(BN)操作与MFM激励操作。