[发明专利]一种基于语义的多姿势虚拟试衣方法

说明书

本发明涉及虚拟试衣领域，具体涉及一种基于语义的多姿势虚拟试衣方法，包括：步骤101，选择人体图像、目标衣服和人体姿势图；步骤102，分别提取人体图像的语义信息，依据人体衣服语义，对目标衣服进行扭转变形；步骤103，将变形后的衣服、人体语义表征、人体姿势表征送入条件式对抗生成网络，得到初始试衣结果；步骤104，采用由粗到细的两步图像合成方法，生成试衣结果时，在神经网络中间层采用语义条件空间归一化，保留衣服语义并和其它人体语义分离，训练时，将生成的语义标签作为输入；步骤105，输出并显示用户指定目标衣服和姿势的虚拟试衣结果。本发明适用于电子商务服装在线销售领域，能够极大提升用户体验，实现海量、高效的虚拟试衣效果。

技术领域

本发明涉及虚拟试衣领域，特别是一种基于语义的多姿势虚拟试衣方法。

背景技术

将目标衣服试穿到人体图像上是虚拟试衣任务的主要目标，也是近来计算机视觉领域的重要应用场景。

传统的虚拟试衣技术，大部分研究者都专注于基于三维建模的虚拟试衣技术，利用三维扫描、三维重建等技术建立服装和人体的三维模型来实现虚拟试衣，大多数方法都是建立在计算机图形学的基础上，根据用户自身三维人体信息，建立人体三维模型，再将衣服渲染在所建立的人体三维模型上，得益于计算机图形学精确计算出来的衣服和人体几何形变，这类方法得出的试衣结果较为准确，但是，这种方法往往需要巨大的计算资源，且对硬件设备有很强的依赖性；基于图像的虚拟试衣技术能很好的克服上述问题，但现有的二维虚拟试衣技术往往只适用于简单的试穿场合，人体图像的质量和目标衣服的图像质量都会影响试衣效果。

发明内容

为了解决上述现有技术的不足，本发明提供一种基于语义的多姿势虚拟试衣系统和方法，在不需要额外计算量或者复杂硬件设备，系统鲁棒性强，可以实现复杂情况下的海量试衣，其具体技术方案如下：

一种基于语义的多姿势虚拟试衣方法，包括以下步骤：

步骤101，用户选择人体图像、目标衣服和需要试穿的人体姿势图；

步骤102，分别提取人体图像的语义信息，生成人体语义解析图，同时根据语义解析图，采用空间转换网络，对目标衣服进行扭转变形；

步骤103，将变形后的衣服、人体语义表征、人体姿势表征送入条件式生成对抗网络中，得到初始的试衣结果；

步骤104，采用由粗到细的图像合成方法，生成试衣结果时，在神经网络中间层采用语义条件空间归一化操作，保留衣服语义并和人体其他语义分离开；训练时，通过生变分自编码器VAE生成的语义标签作为输入，在测试阶段，不生成语义标签；

步骤105，通过训练好的模型对用户输入的目标姿势、目标衣服和人体图像进行测试，输出并显示用户指定目标衣服和姿势的虚拟试衣结果。

进一步的，所述步骤102具体为：

提取人体图像语义信息，包括人体衣服语义、身体部分语义、头发和脸部语义和裤子语义；

所述的空间转换网络采用薄板样条插值法对目标衣服进行扭转变形，采用卷积神经网络预测薄板样条插值法的参数θ，在卷积神经网络/的第3，4，5层，使用带偏移量的卷积核代替常规卷积核，将常规的感受野网格/增强为带有偏移量{Δp_n|n＝1,...,N}的网格/其中/带有偏移量的不规则采样坐标变成了p_n+Δp_n，对Δp_n进行双线性插值转换，将其转换成整数，其中p代表任意位置的坐标，q列举了所有特征图中的整数空间位置，G(·,·)是双线性插值操作，G是二维运算，被分成两个维度的运算：/单独维度的线性插值运算为：/a,b分别是一维空间中两个点的坐标，同时，在生成变形后的目标衣服后，对参数θ进行修正，得到人体衣服语义匹配的预测参数(θ+Δθ)。