[发明专利]用于虚拟试衣的方法和装置

说明书

本公开的实施例公开了用于虚拟试衣的方法和装置。该方法的一具体实施方式包括：接收包括模特图片和用户照片的试衣请求；分别对模特图片和用户照片进行人体定位和表面坐标分析；分别对模特图片和用户照片进行服饰分割；基于服饰分割结果和表面坐标分析结果，将模特图片的服饰对应的像素覆盖到用户照片中对应的位置，得到合成照片和待补全信息；将合成照片、用户照片的定位结果和待补全信息输入到预先训练的图像补全网络，得到补全图像。该实施方式实现基于2D图像的照片级虚拟试衣，降低了成本并且具有支持任意图像分辨率和人体细节表现更好的优势。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及用于虚拟试衣的方法和装置。

背景技术

在电商领域，用户购买服饰一般只能看到卖家秀，无法知道自己穿搭的实际模样。这极大的影响了用户体验，并且也会带来很多实际问题，比如因与预期不符导致的买家退换货等。于是虚拟试衣技术受到了重视，借助此技术，用户可以方便地查看自己便装的效果，除了用于电商的虚拟试衣间，此技术还可以为图像编辑软件服务，或者用作娱乐技术。

现阶段虚拟试衣主要有2大实现方式：基于3D建模和基于2D图像的虚拟试衣。3D虚拟试衣需要采集人体和服饰的3D信息，然后根据目标人进行贴片合成，可以实现任意角度的展示，但是通常设备成本昂贵并且效果和日常照片有差距。采集人体和服饰的3D信息通常成本较高且较为繁琐。近些年兴起的基于2D图像的虚拟试衣，利用纯图像进行目标图像合成。但是此类技术目前普遍都在较小的图像分辨率上做实验，暂时无法实用。目前基于2D图像的虚拟试衣的生成技术通常在人手等细节上表现较差。

发明内容

本公开的实施例提出了用于虚拟试衣的方法和装置。

第一方面，本公开的实施例提供了一种用于虚拟试衣的方法，包括：接收包括模特图片和用户照片的试衣请求；分别对模特图片和用户照片进行人体定位和表面坐标分析；分别对模特图片和用户照片进行服饰分割；基于服饰分割结果和表面坐标分析结果，将模特图片的服饰对应的像素覆盖到用户照片中对应的位置，得到合成照片和待补全信息；将合成照片、用户照片的定位结果和待补全信息输入到预先训练的图像补全网络，得到补全图像。

在一些实施例中，该方法还包括：将用户照片的服饰分析结果与补全图像进行融合，得到融合图像。

在一些实施例中，该方法还包括：根据用户照片的人体定位结果将融合图像嵌入原始的用户照片输出。

在一些实施例中，试衣请求还包括目标服饰类型，在将模特图片的服饰对应的像素覆盖到用户照片中对应的位置之前，该方法还包括：根据目标服饰类型和用户照片的人体定位结果确定用户照片中的被擦除区域；根据被擦除区域将用户照片中可能被目标服饰覆盖的部位擦除。

在一些实施例中，图像补全网络通过如下步骤训练：获取样本图像集；对于样本图像集中的样本图像，将该样本图像中服饰可能覆盖的部位进行随机擦除，得到该样本图像的待补全信息；对于样本图像集中的样本图像，将该样本图像进行人体定位分析，得到该样本图像的姿态信息；将样本图像集中的样本图像擦除后的图像、待补全信息和姿态信息作为输入，将擦除前的样本图像作为期望输出，进行机器学习训练，得到图像补全网络。

在一些实施例中，图像补全网络包括生成网络和判别网络，生成网络包括门控卷积层、残差块、自注意力层、反卷积层，判别网络包括谱归一化卷积层。

第二方面，本公开的实施例提供了一种用于虚拟试衣的装置，包括：接收单元，被配置成接收包括模特图片和用户照片的试衣请求；定位单元，被配置成分别对模特图片和用户照片进行人体定位和表面坐标分析；分割单元，被配置成分别对模特图片和用户照片进行服饰分割；合成单元，被配置成基于服饰分割结果和表面坐标分析结果，将模特图片的服饰对应的像素覆盖到用户照片中对应的位置，得到合成照片和待补全信息；补全单元，被配置成将合成照片、用户照片的定位结果和待补全信息输入到预先训练的图像补全网络，得到补全图像。