[发明专利]一种基于LBP和卷积神经网络的人脸美丽预测方法

权利要求书

1.一种基于LBP和卷积神经网络的人脸美丽预测方法，其特征在于，包括以下步骤：

1)、训练卷积神经网络模型CNN：

1a)、采集人脸图像作为训练图像，并对训练图像中的每张人脸图像进行预处理，得到大小为144×144的RGB彩色图像I₀＝[R,G,B]；

1b)、对RGB彩色图像I₀＝[R,G,B]的R、G、B三个通道分别使用LBP算子处理，得到每个通道的LBP纹理图像I₁＝LBP(I₀)＝[R_LBP,G_LBP,B_LBP]；

1c)、将LBP纹理图像I₁＝LBP(I₀)＝[R_LBP,G_LBP,B_LBP]与RGB彩色图像I₀的R、G、B三通道图像进行通道融合，得到融合后的特征图I₂＝[R,G,B,R_LBP,G_LBP,B_LBP]；

1d)、构建1个由4个卷积层、4个池化层、2个全连接层和输出层构成的卷积神经网络模型CNN；

1e)、将融合后的特征图I₂输入到步骤1d)构建的卷积神经网络模型中进行训练，并输入代表皮肤颜色信息的RGB图像对网络进行微调，得到训练好的人脸美丽预测模型；

所述的人脸美丽预测模型训练过程如下：

1e1)、将融合后的128×128通道图输入卷积神经网络模型CNN的第一个卷积层Conv1，经过96个卷积核大小9×9对图像进行卷积操作，得到96个120×120的特征图F1；

1e2)、利用卷积神经网络模型CNN的第一个激活层MFM1,对卷积特征图F1进行非线性转换，得到48个120×120的激活特征图F2；

1e3)、利用卷积神经网络模型CNN的第一个池化层Pooling1,对激活特征图F2进行下采样，得到48个60×60的池化特征图F3；

1e4)、对卷积神经网络模型CNN的第二个卷积层、激活和池化层结构到第四个卷积层、激活和池化层结构重复步骤1e1)-1e3)，得到192个更深层次、更高层次的5×5特征图F4；

1e5)、利用卷积神经网络模型CNN的第一个全连接层Fc1，对步骤1e4)中得到的特征图F4进行特征映射，得到一维人脸特征向量V1；

1e6)、为了避免出现过拟合现象，在第一个全连接层的输出后加Dropout层，dropout_ratio设置为0.75，然后输入到第二个全连接层Fc2，得到向量V2；

1e7)、将V2输入卷积神经网络模型CNN的softmax函数进行训练；

1e8)、将代表皮肤颜色信息的RGB图像作为输入对网络进行微调，得到训练好的人脸美丽预测模型；

2)、利用卷积神经网络模型对人脸图像进行预测：

2a)、利用步骤1a)-1c)的方法对需要人脸美丽预测图像进行预处理，得到预处理后的人脸图像I₃；

2b)、将预处理后的人脸图像输入到训练好的人脸美丽预测模型进行预测，并输出人脸美丽评分。

2.根据权利要求1所述的一种基于LBP和卷积神经网络的人脸美丽预测方法，其特征在于：步骤1a)中，训练图像具有5类美丽评分，其中，1表示极不具有吸引力，2表示不具有吸引力，3表示一般，4表示较有吸引力，5表示极有吸引力。

3.根据权利要求1所述的一种基于LBP和卷积神经网络的人脸美丽预测方法，其特征在于：步骤1a)中，预处理具体为：检测人脸图像左右眼睛中心像素点位置，并计算左右眼睛中心像素点连线与水平线的夹角，进行水平对齐，再把两眼的中心像素点与嘴巴中心点像素固定为48个像素，计算出图像的缩放比例，进行尺度归一化，然后进行裁剪，最终得到尺寸为144×144的RGB彩色图像I₀。