[发明专利]训练试衣模型的方法、虚拟试衣方法及相关装置

权利要求书

1.一种训练试衣模型的方法，其特征在于，试衣网络包括图像生成网络，所述图像生成网络包括级联的编码器、融合模块和解码器；

所述方法包括：

获取若干个图像组，所述图像组包括衣服图像和模特图像，所述衣服图像对应有可编辑的衣服属性文本信息，所述模特图像中的模特穿有所述衣服图像中的衣服，且所述衣服是按所述衣服属性文本信息进行编辑后的衣服；

对所述衣服属性文本信息进行特征编码，得到衣服属性向量；

将所述衣服图像中衣服按所述模特图像中模特的人体结构进行初步变形，得到衣服变形图像；

对所述模特图像进行人体解析，得到第一解析图，并根据所述第一解析图从所述模特图像中提取出身体躯干图；

将所述衣服变形图像、所述身体躯干图和所述衣服属性向量，输入所述图像生成网络，得到预测试衣图像，其中，所述衣服变形图像和所述身体躯干图输入所述编码器进行编码，将得到的编码结果和所述衣服属性向量输入所述融合模块进行融合，得到的融合结果输入所述解码器进行解码，得到所述预测试衣图像；

采用损失函数计算所述预测试衣图像和所述模特图像之间的损失，并根据所述若干个图像组对应的损失和，对所述试衣网络进行迭代训练，直至收敛，得到所述试衣模型。

2.根据权利要求1所述的方法，其特征在于，所述试衣网络还包括衣服变形网络；

所述对所述衣服图像中衣服按所述模特图像中模特的人体结构进行初步变形，得到衣服变形图像，包括：

对所述模特图像进行人体关键点检测，得到关键点图像；

将所述身体躯干图、所述关键点图像、所述衣服图像和所述衣服属性向量，输入所述衣服变形网络，输出所述衣服变形图像。

3.根据权利要求1所述的方法，其特征在于，所述根据所述第一解析图从所述模特图像中提取出身体躯干图，包括：

从所述第一解析图中分离出第二解析图，其中，所述第二解析图反映所述模特身体躯干的像素区域；

对所述第二解析图进行二值化处理，得到二值化图像，在所述二值化图像中身体躯干区域对应的像素为1，其它区域对应的像素为0；

将所述模特图像中的像素和所述二值化图像中的像素对应位置相乘，得到所述身体躯干图。

4.根据权利要求1所述的方法，其特征在于，所述试衣网络还包括多层感知机模块；

所述对所述衣服属性文本信息进行特征编码，得到衣服属性向量，包括：

采用词袋模型对所述衣服属性文本信息中的各词语进行编码，得到文本编码；

采用所述多层感知机模块对所述文本编码进行特征提取，得到所述衣服属向量。

5.根据权利要求1所述的方法，其特征在于，所述融合模块包括第一卷积层、第二卷积层和融合层；

所述融合模块采用以下方式对所述编码结果和所述衣服属性向进行融合处理：

通过所述第一卷积层和所述第二卷积层分别对所述编码结果进行特征提取，得到第一中间特征图和第二中间特征图；

通过所述第一卷积层和所述第二卷积层分别对所述衣服属性向量进行特征提取，得到第一属性特征图和第二属性特征图；

通过所述融合层对所述编码结果、所述第一中间特征图、所述第二中间特征图、所述第一属性特征图和所述第二属性特征图进行融合处理。

6.根据权利要求5所述的方法，其特征在于，所述融合层采用以下公式进行融合处理：

其中，x为所述编码结果，μ(x)为所述第一中间特征图，σ(x)为所述第二中间特征图，y为所述衣服属性向量，μ(y)为所述第一属性特征图，σ(y)为所述第二属性特征图，IN(x,y)为所融合结果。

7.根据权利要求1所述的方法，其特征在于，所述损失函数包括条件对抗损失、感知损失和衣服变形损失，其中，所述衣服变形损失反映所述预测试衣图像中衣服和所述模特图像中衣服之间的差异。