[发明专利]基于2D图像的人体语义预测模块、虚拟换衣模型及方法

说明书

公开了一种基于2D图像的人体语义预测模块、虚拟换衣模型及方法。所述人体语义预测模块由一个改进后的U‑Net网络组成，改进后的U‑Net网络是将传统U‑Net网络的基本单元改为残差块；人体语义预测模块的输入为平面化服装图像和由人体模特图像提取的人体姿态特征，输出包括所述人体模特图像每个像素点的分类概率；人体姿态特征包括densepose特征；人体语义预测模块依据所述分类概率预测换衣后的人体语义信息。虚拟换衣模型包括一个服装变形的外观流模块、人体语义预测模块和换衣生成模块。虚拟换衣方法包括构建虚拟换衣数据集、设计虚拟换衣模型和设计虚拟换衣模型的训练策略的步骤。本发明具有较高的网络提取特征的能力，提升了最终换衣图像的真实性。

技术领域

本发明属于图像生成模型以及时尚服装领域，涉及一种基于2D图像的人体语义预测模块、虚拟换衣模型及方法，所述人体语义预测模块、虚拟换衣模型及方法使用人体模特穿衣图像和平面化服装图像作为最原始的输入。

背景技术

虚拟换衣是指用户不需要亲自试穿衣服就可以看到自己穿衣之后的效果，在服装效果展示方面有很广泛的应用场景。随着电子商务的兴起，越来越多的人选择了在线上进行购物，其中服装是每个人都必不可少物品。而线上购买服装通常只是使用模特试穿的图像来进行展示，其最大的问题就是，用户无法看到服装穿在自己身上的效果。虚拟换衣技术刚好可以很好地解决这一问题，该技术能够很好地展示服装在人体身上的效果，更直接地让用户看到服装是否合身、颜色是否适合等特征，帮助用户做出更好的决定。尤其是近几年，因为疫情导致越来越多的人进行线上购物，电商平台也需要为用户提供更好的服务，向用户展现更真实的商品效果。对于服装展示而言，虚拟换衣技术在电商领域有很大的应用空间。基于展示服装效果的目的，虚拟换衣技术通常包括两大技术方向：(1)基于3D人体模型技术的虚拟换衣方法，该方法通过对人体和服装在三维空间中进行建模的方式，来生成换衣后的效果图，虽然基于3D建模方法的效果很真实，但其计算量较大，且应用时对场地的要求较高，不适合一般电商平台的应用；(2)基于2D图像的虚拟换衣方法，该方法可以通过输入的2D人体图像和平面化服装图像，直接生成人体更换服装后的图像，其最大的特点就是，在保证一定效果的同时，还可以有很快的运行速度，相比于3D建模的方法，应用场景更宽广。

深度学习的发展极大促进了虚拟换衣技术的发展，在2018年，VITON技术首次提出了使用深度学习技术来进行虚拟换衣的模型框架，在之后的几年中，涌现了很多类似的技术，对现有的虚拟换衣方法不断地进行完善。基于2D图像的虚拟换衣方法通常包含两大步骤：(1)对平面化服装区域进行扭曲变形，将服装图像扭曲变形成服装被穿在人体身上后的形状，在这个过程中需要保持服装的纹理、图案等细节信息；(2)根据人体图像的各种特征，结合变形后的服装，生成换衣后的图像效果，最后的生成的图像即为模型对人体进行换衣后的图像。在服装扭曲的技术当中，常用的方法有TPS变换的方法和基于外观流的方法。TPS插值是常用的2D插值方法。它的物理意义是：在原图像中取N个点，这N个点，在经过图像的扭曲变形后形成的新坐标下，对应了新的N个点。该方法的应用范围受限，对于服装遮挡、衣领伪影或者服装几何变形程度较大等问题上，不能完全地对服装进行扭曲。基于外观流的方法能够利用深度学习技术，学习到原始图像中有哪些像素点能够用于生成目标图像，相比于TPS变换，该方法灵活度更高且效果更好。在换衣合成技术中，常用的方法是使用U-Net网络，对输入的特征进行结合，但目前的方法中，还存在着一些问题，其一是，由于在训练的过程中，对人体进行换衣时，需要去除人体身上原有服装的所有信息，保留下的特征在一定程度上有所缺失，无法完全表示人体；其二是，模型在换衣的过程中，由于提取到的特征不足以更好的生成换衣后的图像，导致生成的图像效果有限。

发明内容