[发明专利]一种基于形状图约束的模特穿着衣物图像生成方法及装置

说明书

本公开公开了一种基于形状图约束的模特穿着衣物图像生成方法及装置，方法包括：接收图像数据，进行预处理构建模特衣物数据集，获取衣物纹理；提取模特衣物数据集中的模特‑衣物对，构建模特‑衣物‑形状三元组，训练形状预测器；根据模特衣物数据集中的模特‑衣物对训练纹理渲染器；通过形状预测器对输入的模特图像进行形状预测，将预测结果作为形状图约束；纹理渲染器同时接收形状图约束和衣物纹理，渲染出最终的衣物图像。

技术领域

本公开属于智能衣橱的技术领域，涉及一种基于形状图约束的模特穿着衣物图像生成方法及装置。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

随着时尚产业的蓬勃发展，许多关于时尚的社区网站应运而生，时尚爱好者在这里分享他们的街拍照片。近年来，有许多研究工作围绕街景拍摄模特对应的商品衣物检索展开。现有的技术主要应用深度学习对模特照片进行特征提取，进而对商品库中的衣物产品进行相似度衡量，最终检索出对应的衣物产品。

然而，发明人在研发过程中发现，现有的技术主要应用数据驱动的表示学习方法，依赖于大量的训练数据三元组，其训练出的特征向量缺乏可解释性，无法完全表示原模特图像所具有的特征。

与传统的跨域转移问题相比，从模特照片到其穿着衣物跨越的沟壑是相对更大的，这给生成模型的学习带来了很严峻的挑战；形状对于衣物图片是显著而重要的特征之一，如何把形状这一具有优秀特征表示的约束集成到生成框架来帮助更好的生成是一个具有挑战性的问题；模特照片具有很多噪音，这些噪音会影响生成框架的学习过程，进而降低最终的生成质量。

发明内容

针对现有技术中存在的不足，本公开的一个或多个实施例提供了一种基于形状图约束的模特穿着衣物图像生成方法及装置,基于对抗网络的模特衣服生成框架，利用形状图来进行约束，使该框架理想的生成模特所穿着的衣物图片，使检索模型更好地进行衣物检索的训练。本公开引入形状预测器来获得形状图约束，有效提高了生成衣物图像的质量，使之能够应用于街景模特穿着衣物对应的衣物检索，有效提高检索模型的性能。

根据本公开的一个或多个实施例的一个方面，提供一种基于形状图约束的模特穿着衣物图像生成方法。

一种基于形状图约束的模特穿着衣物图像生成方法，该方法包括：

接收图像数据，进行预处理构建模特衣物数据集，获取衣物纹理；

提取模特衣物数据集中的模特-衣物对，构建模特-衣物-形状三元组，训练形状预测器；

根据模特衣物数据集中的模特-衣物对训练纹理渲染器；

通过形状预测器对输入的模特图像进行形状预测，将预测结果作为形状图约束；纹理渲染器同时接收形状图约束和衣物纹理，渲染出最终的衣物图像。

进一步地，在该方法中，所述模特衣物数据集中包含模特-衣物对，所述模特-衣物对中一张衣物图像数据对应若干模特图像数据。

进一步地，在该方法中，通过人体解析模型进行衣物纹理解析，获取上身所属的衣物纹理部份。

进一步地，在该方法中，所述形状预测器采用深度学习特征提取算法与自我注意力机制进行模型的构建，具体步骤包括：

采用预训练的深度卷积神经网络获取特征图，并通过平均池化操作进行局部特征提取；

同时采用自我注意力机制通过卷积操作获得权重图，并进行全局特征提取；

将局部特征和全局特征连接，得到最终的特征向量；

构建锚例-正例-负例三元组进行形状预测器的训练，所述形状预测器的损失函数为标准的三元组损失函数。