[发明专利]一种虚拟换妆方法、系统、设备和存储介质

权利要求书

1.一种虚拟换妆方法，所述方法包括：

1)用户上传待换妆图片；

2)用户选定或者上传目标妆容图片；

3)拆解和提取所述待换妆图片和目标妆容图片的模型特征；

4)所述模型特征包括所述待换妆图片的面部结构信息和所述目标妆容图片的面部妆容信息；

5)将处理后的妆容图片和用户图面部结构信息提取的特征作为条件输入GAN神经网络；

6)GAN神经网络根据所述条件输出合成后的换妆图片。

2.根据权利要求1所述的方法，其特征在于，步骤2)中，用户可以选定系统提供的目标妆容图片或者上传目标妆容的局部图片。

3.根据权利要求1所述的方法，其特征在于，步骤3)中，终端将图片信息上传到服务端完成模型特征的拆解和提取，或者直接在终端完成模型特征的拆解和提取然后将特征信息上传到服务端。

4.根据权利要求1所述的方法，其特征在于，所述拆解和提取所述待换妆图片模型特征的步骤还包括，1)根据用户二维图像处理获得人体头部轮廓图像；2)将二维人体头部轮廓图像输入经过深度学习的第一神经网络进行关键点的回归；3)获得用户头部的关键点信息；4)获取头部各部分语义分割图；5)对图片进行颜色扰动，采用lab、亮度、对比度、光影扰动的方式去除面部妆容信息；6)扰动处理后的图片经过编码器提取特征，获取可表征的用户图面部结构信息。

5.根据权利要求1所述的方法，其特征在于，所述拆解和提取目标妆容图片模型特征的步骤还包括，1)将脸部立体图片转化为平面图片；2)按照一定的预设规则对图片进行WARP拉伸变形处理；3)根据预设的关键点信息将图片固定展开成一个指定部位在固定位置的图；4)这个WARP到固定位置的图片携带有目标妆容图片的面部妆容信息，可以直接输入GAN神经网络。

6.根据权利要求5所述的方法，其特征在于，该步骤还包括，1)所述预设关键点设置为5个点，指定部位包括眼角、鼻尖和嘴角；2)除预设关键点外，对其他点采用增加颜色、加减RGB值、改变对比度、亮度和光影的方式进行扰动；3)保留妆容信息包括5个关键点及其周围一定范围内的口红、眼影、色号信息。

7.根据权利要求1所述的方法，其特征在于，在模型特征作为条件输入GAN神经网络模型之前，还包括训练所述GAN神经网络的过程，所述训练过程采用单张带妆容的图片通过自拆解的方法完成。

8.根据权利要求7所述的方法，其特征在于，所述训练过程包括：1)对图片面部妆容信息进行扰动去除，对图片进行面部结构信息的提取；2)对图片面部结构信息进行扰动去除，对图片进行面部妆容信息的提取；3)将提取到的图片面部结构信息输入编码器中提取特征；4)将获得的特征与面部妆容信息作为输入条件输入GAN神经网络模型；5)使用所述图片本身作为模型的真值进行训练。

9.根据权利要求8所述的方法，其特征在于，在对原始图片面部妆容信息进行去除时，在随机扰动之外还进行如下扰动操作，将提取到的其他人脸图片中指定部位的颜色，通过直方图匹配的方法覆盖到原始图片的指定部位上，以使得原始图片中指定位置的妆容信息完全被剥离。

10.一种系统，用于虚拟换妆方法的实现，包括：1)图片获取模块，用于获取用户上传的待换妆图片，用户选定或者上传目标妆容图片；2)拆解和提取模块，用于获取所述待换妆图片和目标妆容图片的模型特征；所述模型特征包括所述待换妆图片的面部结构信息和所述目标妆容图片的面部妆容信息；3)图片合成输出模块，包括GAN神经网络，用于将处理后的妆容图片和用户图面部结构信息提取的特征作为条件输入GAN神经网络并输出合成后的换妆图片。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-9任一所述的方法步骤。

12.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现权利要求1-9任一所述的方法步骤。