[发明专利]一种虚拟换妆方法、系统、设备和存储介质

说明书

本发明公开了一种虚拟换妆方法，包括：1)用户上传待换妆图片；2)用户选定或者上传目标妆容图片；3)拆解和提取所述待换妆图片和目标妆容图片的模型特征；4)所述模型特征包括所述待换妆图片的面部结构信息和所述目标妆容图片的面部妆容信息；5)将处理后的妆容图片和用户图面部结构信息提取的特征作为条件输入GAN神经网络；6)GAN神经网络根据所述条件输出合成后的换妆图片。本发明采用面部结构信息和妆容信息分别作为GAN神经网络的输入条件，获得了更真实的换妆效果。同时，采用了改进的神经网络的训练方法，使用一张单独的图片拆取两种所需要的条件进行训练的过程，使得之前获取神经网络训练所需大规模一一配对数据的不可能成为可能，并且相比较传统的贴素材的方法，图像生成时的真实性和融合度都获得了大幅提升。

技术领域

本发明属于虚拟换妆领域，具体涉及一种利用神经网络进行的虚拟换妆方法、系统、设备和存储介质，尤其是一种经过单张图片拆解处理得到模型特征进行训练的GAN神经网络模型生成的虚拟换妆图片的方法。

背景技术

随着互联网技术的发展，网上购物、网上直播互动、在线互动娱乐和网上交友互动等新模式越来越普及。相比于实体店购物或者线下店铺体验，在线购物具有可选择余地大、商品种类多、省时省力等优势，在线互动娱乐或交友展示则有方便快捷、受众多等优势。但是，在网上购买商品，也存在一些不易解决的问题，最主要是无法直观地查看想要购买商品的真实效果。在所有的商品种类中，尤其是一些美妆类产品，比如眼影、眼线、腮红、口红、粉底等，这个问题最为突出。相比于实体店购物中可以实时地换妆查看商品效果，在线美妆购物无法提供针对消费者本身的效果图，只能提供模特试用的图片，有的甚至根本没有试用图片，消费者无法实时直观地获取化妆品和自身脸型和皮肤的匹配程度，造成了较大的困扰。

此外，在一些互动娱乐场合，用户也有体验不一样妆容带来效果的需求。因为对普通用户来讲，自己在网络上看到心仪的妆容，就会想这些妆容能够在自己的脸上真实再现出来，以便观察这些妆容是否适合自己。现有技术针对此类需求已经研发出了一些换妆技术。虚拟换妆，通常是将目标图片的妆容迁移原始图片上的过程。在给定待换妆图片和目标妆容图片后，算法程序需要将目标妆容图片上的妆容迁移到待换妆图片上。通过这种方法可以让用户不必耗费时间和金钱实际购买化妆品或者实际化妆就能看到自己上妆后的效果，其可以广泛应用于互联网行业中。

现有技术一公开了一种鲁棒的基于参考图片的妆容迁移方法，包括如下具体步骤：步骤一：定义换妆问题为：其中，x是待换妆图片，y为参考图片，映射G以x，y为输入，输出换妆后的图片与x为同一个人，同时具有参考图片y的妆容；步骤二：提取参考图片y的妆容矩阵，利用妆容提取网络参考图片进行提取得到第一妆容矩阵γ和第二妆容矩阵β；步骤三：计算待换妆图片中每个像素与参考图片中每个像素的相似性；步骤四：对步骤二中提取的所述妆容矩阵利用像素的相似性进行变形处理，得到自适应妆容矩阵；步骤五：将待换妆图片使用自适应妆容矩阵将视觉特征的特征图进行换妆：步骤六：将视觉特征图进行上采样得到换妆图片。但是，这种换妆方式虽然利用简单的处理就能完成相应的换妆操作，但主要是在关键点定位后靠渲染素材贴合的方式完成，主要操作为效果融合，比较依赖关键点定位，依赖素材运营，不能实现随意换妆并且对于图片上已有的妆容没有去除效果，在某些用户本身就是浓妆的情况下叠加效果不能满足用户的高要求。

在目前的虚拟换妆领域，使用目标妆容遮盖用户原有妆容由于计算量小、实现简单等特点，基本占据了主流。但是，随着神经网络模型技术在近些年的飞速发展，利用神经网络模型完成虚拟换妆的方法，也逐渐登上了换妆领域的舞台。因此，神经网络模型最终输出图片的质量，也就是原始图片和目标图片的吻合度成为了最关键的因素，尤其对深度学习的神经网络而言，如何对其进行训练并达到最优的训练效果和训练效能，成为亟需要解决的问题。

发明内容