[发明专利]基于2D图像的人体语义预测模块、虚拟换衣模型及方法

权利要求书

1.一种人体语义预测模块，其特征在于，所述人体语义预测模块由一个改进后的U-Net网络组成，所述改进后的U-Net网络是将传统U-Net网络的基本单元改为残差块；所述人体语义预测模块的输入为平面化服装图像和由人体模特图像提取的人体姿态特征，输出包括所述人体模特图像每个像素点的分类概率；所述人体姿态特征包括densepose特征；所述人体语义预测模块依据所述分类概率预测换衣后的人体语义信息。

2.如权利要求1所述的人体语义预测模块，其特征在于，所述残差块分为直接映射部分和残差部分；所述直接映射部分的输入特征不经过卷积操作，直接作为这部分的输出特征；所述残差部分的输入特征经过一个多层卷积神经网络，预测出特征的残差；将所述残差部分的输出与所述直接映射部分的输出相加后，通过一个Relu激活层，作为整个残差块的输出。

3.如权利要求2所述的人体语义预测模块，其特征在于，所述多层卷积神经网络的损失函数为Relu函数。

4.一种虚拟换衣模型，其特征在于，所述虚拟换衣模型包括一个服装变形的外观流模块、一个人体语义预测模块和一个换衣生成模块；其中，所述服装变形的外观流模块用于生成扭曲变形后的服装区域；所述人体语义预测模块由一个改进后的U-Net网络组成，所述改进后的U-Net网络是将传统U-Net网络的基本单元改为残差块，所述人体语义预测模块的输入为平面化服装图像和由人体模特图像提取的人体姿态特征，输出为所述人体模特图像每个像素点的分类概率，所述人体姿态特征包括densepose特征，所述人体语义预测模块依据所述分类概率预测换衣后的人体语义信息；所述换衣生成模块用于融合得到的各种特征，生成最终的换衣图像。

5.如权利要求4所述的虚拟换衣模型，其特征在于，所述服装变形的外观流模块由两个结构相同的FPN网络和一个卷积神经网络所组成；所述FPN网络中的一个的输入为人体图像中与服装无关的特征，输出得到人体与服装无关区域的多级特征，另一FPN网络的输入为平面化服装图像，输出得到平面化服装图像的多级特征；所述卷积神经网络每一层的输入为所述FPN网络在该层输出的多级特征以及上一层的输出，输出为每一层服装图像中每个素点的偏移量；所述服装变形的外观流模块根据最终输出的偏移量对服装图像进行扭曲变形。

6.如权利要求4所述的虚拟换衣模型，其特征在于，所述换衣生成模块采用与所述人体语义预测模块相同的网络结构，输入为扭曲变形后的服装图像及其mask特征、与服装无关的人体图像、以及预测的语义信息。

7.一种虚拟换衣方法，其特征在于，包括步骤：

A、构建虚拟换衣数据集；

B、设计虚拟换衣模型，所述虚拟换衣模型包括一个服装变形的外观流模块、一个人体语义预测模块和一个换衣生成模块；其中，所述服装变形的外观流模块用于生成扭曲变形后的服装区域；所述人体语义预测模块由一个改进后的U-Net网络组成，所述改进后的U-Net网络是将传统U-Net网络的基本单元改为残差块，所述人体语义预测模块的输入为平面化服装图像和由人体模特图像提取的人体姿态特征，输出为所述人体模特图像每个像素点的分类概率，所述人体姿态特征包括densepose特征，所述人体语义预测模块依据所述分类概率预测换衣后的人体语义信息；所述换衣生成模块用于融合得到的各种特征，生成最终的换衣图像；

C、设计所述虚拟换衣模型的训练策略。

8.如权利要求7所述的虚拟换衣方法，其特征在于，所述步骤A具体为：先获取平面化服装图像和对应的人体模特穿着这件服装的图像；利用人体解析模型对人体模特图像进行语义分割，获取人体模特图像的语义信息；利用人体姿态特征的提取方法分别提取openpose特征和densepose特征；利用显著性目标检测的方法获取平面化服装图像的前景mask特征；将平面化服装图像及其前景mask特征、人体模特图像及其人体姿态特征、人体模特图像的语义信息组合在一起，构建成虚拟换衣数据集。