[发明专利]使用多尺度图块对抗性损失的衣物变形

说明书

本公开的实施例涉及使用多尺度图块对抗性损失的衣物变形。描述了生成穿戴服装的人物的合成图像。接收到描绘穿戴服装制品的人物的二维参考图像和目标服装的二维图像，该人物将被描绘为穿戴该目标服装。为了生成合成图像，目标服装的变形图像经由几何匹配模块而被生成，该几何匹配模块实现了使用多尺度图块对抗性损失而被训练来识别变形的和非变形的服装图像之间的相似性的机器学习模型。通过从变形的和非变形的服装图像的对应位置采样不同尺寸的图块来确定多尺度图块对抗性损失。按照每个人物生成合成图像，使得目标服装适合人物的特定身体形状、姿势和独特特性。

技术领域

本公开总体上涉及计算机领域，并且更具体地涉及使用多尺度图块(patch)对抗性损失的衣物变形(warping)。

背景技术

随着计算设备技术的进步，与访问实体零售店的常规方法相比，在线购物已成为更受消费者青睐的机制。然而，尽管在线购物平台提供了便利，但是消费者无法感知由产品图像表示的特定时尚物品在被消费者穿戴时实际将如何显现。为了向消费者提供时尚物品将如何显现的预览，常规的虚拟试衣间使用三维模型来估计消费者的身体形状。可以使用各种不同的方法来生成这种常规的三维模型，诸如使用深度感测相机、使用二维图像估计消费者的三维身体形状等等。尽管这些方法使得能够模拟消费者所穿戴的时尚物品，但是这种常规方法与收集和注释三维图像数据所需的硬件和计算资源的高成本相关联。

为了减轻这些问题，一些常规方法考虑了二维、红-绿-蓝(RGB)图像，而没有利用任何三维数据。这些常规方法的目的是生成将产品图像覆盖到消费者的图像的对应区域上的新图像。但是，这样的图像覆盖方法无法准确地表示诸如消费者的身体姿势之类的消费者图像的重要方面以及诸如与产品材料相适应的形变、产品的视觉图案等等之类的产品图像的重要方面。因此，仅考虑二维信息的常规方法往往输出被覆盖在消费者上的产品的图像，该产品的图像不能表示该产品在由消费者实际穿戴时将如何显现的逼真外观。因此，在线购物消费者被提供了不能准确地表示由个体消费者所穿戴的时尚物品的真实世界外观的时尚物品预览。

发明内容

描述了生成穿戴服装的人物的合成图像。基于图像的虚拟试穿(IBVTON)系统接收描绘穿戴服装制品的人物的二维参考图像。IBVTON系统还接收该人物要穿上的目标服装的二维图像，其可以表示消费者在在线市场上正考虑购买的时尚物品。为了生成穿戴目标服装的人物的合成图像，IBVTON系统使用几何匹配模块来生成目标服装的变形图像。几何匹配模块实现了使用多尺度图块对抗性损失而被训练来识别相同服装制品的变形的和非变形的图像之间的相似性和差异的机器学习模型，该多尺度图块对抗性损失通过从相同服装制品的变形的和非变形的图像的对应相同位置中采样多个尺寸的图块而被确定。几何匹配模块基于描绘人物的参考图像来生成目标服装的变形图像，使得目标服装被变形以适应该人物的特定身体姿势和特性。

为了计算几何匹配模块在生成目标服装的变形版本时所考虑的多尺度图块对抗性损失，IBVTON系统考虑了各种图像对，每个图像对包括穿戴服装制品的人物的参考图像以及描绘未被该人物穿戴的服装制品的产品图像。IBVTON系统还被配置为得出人物的服装不可知(agnostic)的人物表示，其描述人物的姿势、人物的身体形状以及与人物的个体身份相对应的一个或多个保留区域，诸如头发和面部区域。IBVTON系统通过将产品图像映射到服装不可知的人物表示来生成变形衣物，并且通过从参考图像提取服装制品的掩码来生成真值(ground truth)变形衣物。多尺度的图块对从来自完全落在变形衣物和真值变形衣物的衣物区域内的区域(例如，来自不包括变形衣物的边缘或真实变形衣物的边缘的区域中)的所生成的变形衣物和真值变形衣物的对应相同区域中被采样。通过比较每个图块对并且确定来自变形衣物的图块是否与来自真值变形衣物的图块共享相同的局部纹理，多尺度图块对抗性损失被最终计算出。