[发明专利]用于虚拟试衣的方法和装置

权利要求书

1.一种用于虚拟试衣的方法，包括：

接收包括模特图片和用户照片的试衣请求；

分别对所述模特图片和所述用户照片进行人体定位和表面坐标分析；

分别对所述模特图片和所述用户照片进行服饰分割，得到服饰分割结果，其中，所述服饰分割结果中包括至少一种服饰类和人体皮肤的露出部位；

将用户照片中对应服饰的像素擦除，以及将有可能被新服饰覆盖的部位也擦除；

基于服饰分割结果和表面坐标分析结果，将所述模特图片的服饰对应的像素覆盖到所述用户照片中对应的位置，得到合成照片和待补全信息；

将所述合成照片、所述用户照片的定位结果和所述待补全信息输入到预先训练的图像补全网络，得到补全图像。

2.根据权利要求1所述的方法，其中，所述方法还包括：

将所述用户照片的服饰分析结果与所述补全图像进行融合，得到融合图像。

3.根据权利要求2所述的方法，其中，所述方法还包括：

根据所述用户照片的人体定位结果将所述融合图像嵌入原始的用户照片输出。

4.根据权利要求1所述的方法，其中，所述试衣请求还包括目标服饰类型，所述将用户照片中对应服饰的像素擦除，以及将有可能被新服饰覆盖的部位也擦除包括：

根据所述目标服饰类型和所述用户照片的人体定位结果确定所述用户照片中的被擦除区域；

根据所述被擦除区域将所述用户照片中可能被目标服饰覆盖的部位擦除。

5.根据权利要求1-4之一所述的方法，其中，所述图像补全网络通过如下步骤训练：

获取样本图像集；

对于所述样本图像集中的样本图像，将该样本图像中服饰可能覆盖的部位进行随机擦除，得到该样本图像的待补全信息；

对于所述样本图像集中的样本图像，将该样本图像进行人体定位分析，得到该样本图像的姿态信息；

将所述样本图像集中的样本图像擦除后的图像、待补全信息和姿态信息作为输入，将擦除前的样本图像作为期望输出，进行机器学习训练，得到图像补全网络。

6.根据权利要求5所述的方法，其中，所述图像补全网络包括生成网络和判别网络，所述生成网络包括门控卷积层、残差块、自注意力层、反卷积层，所述判别网络包括谱归一化卷积层。

7.一种用于虚拟试衣的装置，包括：

接收单元，被配置成接收包括模特图片和用户照片的试衣请求；

定位单元，被配置成分别对所述模特图片和所述用户照片进行人体定位和表面坐标分析；

分割单元，被配置成分别对所述模特图片和所述用户照片进行服饰分割，得到服饰分割结果，其中，所述服饰分割结果中包括至少一种服饰类和人体皮肤的露出部位；

擦除单元，被配置成将用户照片中对应服饰的像素擦除，以及将有可能被新服饰覆盖的部位也擦除；

合成单元，被配置成基于服饰分割结果和表面坐标分析结果，将所述模特图片的服饰对应的像素覆盖到所述用户照片中对应的位置，得到合成照片和待补全信息；

补全单元，被配置成将所述合成照片、所述用户照片的定位结果和所述待补全信息输入到预先训练的图像补全网络，得到补全图像。

8.根据权利要求7所述的装置，其中，所述装置还包括融合单元，被配置成：

将所述用户照片的服饰分析结果与所述补全图像进行融合，得到融合图像。

9.根据权利要求8所述的装置，其中，所述装置还包括输出单元，被配置成：

根据所述用户照片的人体定位结果将所述融合图像嵌入原始的用户照片输出。

10.根据权利要求7所述的装置，其中，所述试衣请求还包括目标服饰类型，擦除单元进一步被配置成：

在所述将所述模特图片的服饰对应的像素覆盖到所述用户照片中对应的位置之前，根据所述目标服饰类型和所述用户照片的人体定位结果确定所述用户照片中的被擦除区域；

根据所述被擦除区域将所述用户照片中可能被目标服饰覆盖的部位擦除。