[发明专利]一种基于多模态信息的服装草图到图像生成方法

权利要求书

1.一种基于多模态信息的服装草图到图像生成方法，其特征在于，包括以下步骤：

步骤1、将服装图像输入训练好的服装图像分层编码模型，利用服装图像分层编码模型将服装图像处理得到局部特征图与全局特征图，并利用对应的基向量空间分别将局部特征图与全局特征图进行向量量化，得到服装的全局信息编码与服装的局部信息编码；

将服装草图输入草图编码模型，得到草图编码；

将文本输入输入文本编码模型，得到文本编码；

步骤2、将草图编码和文本编码共同构成条件信息，与服装全局信息编码连接共同输入Transformer-G，Transformer-G中的掩码注意机制自动生成服装全局信息序列；将服装图像的全局信息编码作为条件信息，与服装的局部信息编码连接共同输入Transformer-L，自动生成服装局部信息序列；

步骤3、将生成的服装全局信息序列与服装局部信息序列分别输入对应的基向量空间中并找到对应的向量，并分别转换为全局二维特征图和局部二维特征图，将全局二维特征图和局部二维特征图输入到训练好的解码器D生成最终图像。

2.根据权利要求1所述的基于多模态信息的服装草图到图像生成方法，其特征在于，服装图像分层编码模型和解码器D的训练方法包括以下步骤：

步骤1.1、将图像x输入服装图像分层编码模型的编码器E，编码器E将图像x下采样到原来的1/4大小，得到包含细节信息的局部特征图Z_local,局部特征图Z_local继续下采样到图像的1/8得到包含全局信息的全局特征图Z_global；

步骤1.2、将全局特征图Z_global输入全局基向量空间V_global，得到服装的全局信息编码Z_global；将Z_global上采样到与局部特征图Z_local相同的尺寸并与其进行残差连接，将连接后的融合特征输入到局部基向量空间V_local，得到服装的全局信息编码Z_local；

步骤1.3、将服装的全局信息编码Z_local和服装的全局信息编码Z_global输入到解码器D，得到重建图像:x'＝D(Z_local,Z_global)

步骤1.4、利用判别器计算总损失函数L＝L_encoding+L_fm，其中L_fm为判别器所有层损失值的平均值，计算判别器第t层损失值的公式为：其中N是判别器第t层的特征数，为第t层判别器提取图像x的第i个特征；

其中为求L2范数损失，||·||²为求平方和损失，sg[]表示停止梯度传播，停止更新该部分参数；通过最小化总损失函数对编码器E、局部基向量空间V_global、全局基向量空间V_global、解码器D和判别器进行训练并更新参数，训练完毕后得到训练好的服装图像分层编码模型和训练好的解码器D。

3.根据权利要求2所述的基于多模态信息的服装草图到图像生成方法，其特征在于，所述步骤1.1中，求Z_global的方法为：对于全局特征图Z_global中的每个向量，量化器q(·)通过最近邻算法在V_global中找到与之最接近的向量并进行替换得到Z_global；求Z_local的方法为：将Z_global上采样到与Z_local相同的尺寸并与Z_local进行残差连接，得到新的融合特征，然后通过最近邻算法在V_local中找到该融合特征图中每个位置最接近的向量并进行替换，得到Z_local。

4.根据权利要求2所述的基于多模态信息的服装草图到图像生成方法，其特征在于，所述步骤3中，Transformer-G和Transformer-L用于采用自回归预测的方法生成服装序列。