[发明专利]一种面部整容推荐方案自动生成方法

权利要求书

1.一种面部整容推荐方案自动生成方法，其特征在于包括如下五个阶段：

阶段一：人脸样本数据收集和预处理，完成模型样本库创建；

阶段二：训练人脸特征参数化模型，参数化用户人脸照片；

阶段三：高颜值明星人脸库构建，相似高颜值人脸计算；

阶段四：根据整容的变形量和术前术后照片，训练人脸术后效果生成模型；

阶段五：功能模型部署，输入用户正脸照片，生成人脸整形后效果，并输出推荐的五官整形方案；

阶段一人脸样本数据收集和预处理，具体实现如下：

1-1.从合作机构获取去除客户信息后的匿名术前术后人像照片，以及每张人像照片对应的实测五官指标定量数据，五官指标定量数据包含56个人脸参数指标，具体分为六大类特征：鼻子5个特征、脸型22个特征、眉毛7个特征、下巴4个特征、眼睛11个特征、嘴巴7个特征；将照片数据按照不同的命名格式进行区分，术前照片与术后照片设为图片id相同，术前照片命名以图片id_bef为图片名称，术后照片命名以图片id_aft命名，可用于人脸术后效果生成模型训练；

1-2.利用开源的人脸检测模型insightface截取人像照片中的人脸部分，剔除人脸无法识别、脸部五官模糊的样本，获得最终剩余合格样本，并做图像尺寸转换，最后保证图像大小都是256*256像素；

1-3.使用标注工具，对处理后的人像照片中的人脸部分进行标记，将实测五官指标定量数据与图像数据通过图片id建立起映射关系，构建出基础数据集。

2.根据权利要求1所述的一种面部整容推荐方案自动生成方法，其特征在于阶段二训练人脸特征参数化模型具体步骤如下：

基于实测用户五官数据和对应的人脸照片，构建样本数据集，训练深层的人脸参数化模型；模型输入为用户正脸照片，输出为人脸的五官数据向量和人脸特征向量；模型基于Inception ResNet V1网络进行迁移学习的训练，将主网络的输出层替换为全连接层，再将全连接层输入到softmax层输出1*1*56的向量；通过人脸检测模型获取到人脸的特征向量和关键点信息，再将人脸特征向量和五官关键点信息输入后序五官特征提取网络，得到最佳参数化人脸模型；模型训练优化函数采用adam，激活函数采用relu,模型的目标函数采用均方根误差RMSE，RMSE计算公式如下：

其中，N-表示每批次训练的图片数量；observed-表示输入图片真实五官参数；predicted-表示根据输入图片，模型预测出的五官参数；

通过人脸关键点检测模型获取人脸的81个关键点，依据关键点的坐标定位到具体的五官位置，按照五官对人脸照片进行切割，将整张人脸照片和切割后的五官照片分别训练，整张人脸照片主要负责五官空间关系的参数预测，最终输出56个五官特征指标。

3.根据权利要求2所述的一种面部整容推荐方案自动生成方法，其特征在于阶段三：高颜值明星人脸库构建，具体如下：

3-1.高颜值明星人脸库构建

3-1-1.通过互联网公开数据爬取明星人像照片；

3-1-2.利用人脸检测模型insightface，剪切出爬取照片中的人像照片，并检测图片质量，保留清晰正脸人像照片；

3-1-3.将有清晰正脸人像照片通过一种基于深度卷积网络的亚洲女性颜值评分模型，输出爬取正脸人像照片的颜值评分结果；

3-1-4.选取颜值评分前5％的人像照片作为高颜值人脸库；

3-2.相似高颜值人脸计算，具体实现如下：

在阶段二获取用户人脸的五官数据向量和人脸特征向量，需要给用户寻找最相似的明星人脸，确定人脸整容的方向；

首先就需要将高颜值人脸库中的照片输入阶段二中的人脸参数化模型，得到高颜值人脸库对应的五官数据向量和人脸特征向量，将计算结果向量拼接，并固化为特定的文件；

当获取到用户人脸照片后，用户与明星人脸库中的人脸相似度计算，通过阶段二得到人脸五官数据向量和人脸特征向量，再取明星人脸固化文件中的拼接向量，通过计算向量之间的余弦相似度，将相似度最高的明星脸作为用户的整形意向人脸；余弦相似度计算方法如下：

公示中向量A,B分别代表用户和明星的拼接向量。