[发明专利]一种基于多模态信息的服装草图到图像生成方法

说明书

本发明涉及一种基于多模态信息的服装草图到图像生成方法，本发明利用多模态信息的协同特征表示，提出了一个用于服装草图到图像的多模态生成模型，该模型结合了CNN多尺度特征提取的优势与Transformer强大的掩码注意力机制，对于服装图像，提出一个分层编码模型，并引入特征匹配损失，使得生成的服装图像纹理更加清晰。同时，提出一个Dup l icate‑Transformer学习不同模态信息之间的关联，协同指导生成具有指定属性的服装图像。本发明的方法可以生成高度真实的服装图像，并且在属性控制方面具有更大的灵活性，多样性和保真度都得到了较为明显的提升。

技术领域

本发明涉及图像生成方法领域，具体涉及的是一种基于多模态信息的服装草图到图像生成方法。

背景技术

随着人们生活水平的不断提高，个性化服装设计的需求越来越多。在服装设计领域中，设计师们会在设计具体服装之前以手绘草图的形式展示他们脑中构想的新设计，然后在此基础上添加较为细节的信息，如褶皱，形成款式图，最后再为款式图上色，生成最终的服装效果图。然而，原始的服装设计过程复杂，耗时耗力，普通大众很难按自己的意愿设计喜欢的服装款式。随着深度学习的发展，人工智能技术逐渐被用于辅助服装的生成，然而，现有的辅助生成方法大多都是单模态方法，其生成的服装图像太过单一。

传统的服装图像生成方法主要基于图像检索，这是一种间接的图像生成技术，首先利用关键词在数据库中搜索相关的图片，然后将返回的图片与草图逐一比较，找出匹配度较高的图片作为生成图像。这种方法不仅需要花费大量的时间，而且对数据集的要求很高，对草图的标签信息有很强的依赖性。

随着深度卷积神经网络(DCNN)的发展，生成对抗网络(GAN)在图像生成方面展现出巨大的潜力，这类方法将条件图像生成任务视为图像到图像的转换任务，在转换时，输入和输出之间共享草图信息，从而保证了输入图像和输出图像之间的相似度。然而，这些方法的输入大多都是单模态的，它们仅仅关注了两个图像域之间的映射，忽略了其他语义属性信息，这使得生成图像颜色单一且属性不可控制。

发明内容

本发明要解决的技术问题是针对以上问题和要求，提供一种基于多模态信息的服装草图到图像生成方法。

为解决以上技术问题，本发明采用以下技术方案：

一种基于多模态信息的服装草图到图像生成方法，包括以下步骤：

步骤1、将服装图像输入训练好的服装图像分层编码模型，利用服装图像分层编码模型将服装图像处理得到局部特征图与全局特征图，并利用对应的基向量空间分别将局部特征图与全局特征图进行向量量化，得到服装的全局信息编码与服装的局部信息编码；

将服装草图输入草图编码模型，得到草图编码；

将文本输入输入文本编码模型，得到文本编码；

步骤2、将草图编码和文本编码共同构成条件信息，与服装全局信息编码连接共同输入Transformer-G，Transformer-G中的掩码注意机制自动生成服装全局信息序列；将服装图像的全局信息编码作为条件信息，与服装的局部信息编码连接共同输入Transformer-L，自动生成服装局部信息序列；

步骤3、将生成的服装全局信息序列与服装局部信息序列分别输入对应的基向量空间中并找到对应的向量，并分别转换为全局二维特征图和局部二维特征图，将全局二维特征图和局部二维特征图输入到训练好的解码器D生成最终图像。

进一步的，服装图像分层编码模型和解码器D的训练方法包括以下步骤：

步骤1.1、将图像x输入服装图像分层编码模型的编码器E，编码器E将图像x下采样到原来的1/4大小，得到包含细节信息的局部特征图Z_local,局部特征图Z_local继续下采样到图像的1/8得到包含全局信息的全局特征图Z_global；