[发明专利]一种基于统一生成对抗网络的多域图像转换技术

权利要求书

1.一种基于统一生成对抗网络的多域图像转换技术，其特征在于，主要包括训练鉴别器(一)；原始域转换到目标域(二)；目标域转换到原始域(三)；蒙蔽鉴别器(四)。

2.基于权利要求书1所述的训练鉴别器(一)，其特征在于，鉴别器可以产生在输入源和目标域标签之间的概率密度，即：D:x→{D_src(x),D_cls(x)}；为了能够从真实的图像当中鉴别出生成的图像，采用如下的对抗损失函数：

其中，G生成基于输入图像x和目标域标签c的一个图像G(x,c)，D用来区分真假图像；生成器G尝试最小化对抗损失函数，而鉴别器D尝试将对抗损失函数进行最大化。

3.基于权利要求书1所述的原始域转换到目标域(二)，其特征在于，其目的在于训练一个生成器G，使其学习在不同的域之间的映射；

为此，在目标域标签c条件下，训练G从输入图像x到输出图像y之间的转换，即：G(x,c)→y；通过随机产生目标域标签c，让G可以灵活地对输入图像进行转换；利用一个辅助的分类器，使得单一的鉴别器可以控制多个域。

4.基于权利要求书1所述的目标域转换到原始域(三)，其特征在于，把一个循环一致性损失函数应用到生成器中，即：

其中，转换图像G(x,c)以及原始的域标签c′作为G的输入，尝试重建原始的图像x；使用L1范数作为重建损失函数；两次使用了单一生成器，第一次是把原始图像转换到目标域，第二次是由转换得到的图像重建原始图像。

5.基于权利要求书4所述的重建损失函数，其特征在于，通过最小化对抗损失和分类损失，训练生成器G用于产生按照正确目标域分类的真实图像；对损失函数进行最小化的过程中，并不能保证转换得到的图像仅仅改变了输入图像中与域相关的部分，而保留输入图像其他的所有内容。

6.基于权利要求书5所述的分类损失，其特征在于，对于给定的一个输入图像x和一个目标域标签c，网络的目的在于将x转换成为输出图像y，而y恰好属于目标域c中的一类；为了达到这一条件，在鉴别器D上面添加一个辅助的分类器，并且当同时优化D和G时，迫使域分类受损；也就是说，将目标函数分为两项：一项是用于优化D的真实图像的域分类损失，另一项是用于优化G的假图像的域分类损失；具体来讲，真实图像的域分类损失定义如下：

其中，D_cls(c′|x)表示由D计算所得的域标签的概率密度；通过对上述目标函数进行最小化，D学习将真实图像x分类到与之相对应的原始域c′；输入图像与域标签数据对(x,c′)由训练数据给出；

另一方面，假图像的域分类损失定义如下：

其中，G对上述目标函数进行最小化，目的在于生成可以根据目标域c进行分类的图像。

7.基于权利要求书1所述的蒙蔽识别器(四)，其特征在于，把用于优化G和D的目标函数分别写成：

其中，λ_cls和λ_rec是超参数，分别用来调整域分类损失和重建损失相比于对抗损失的重要程度；

由于从不同数据库学习的过程存在着一个问题，即每一个数据库都仅仅具有标签的一部分信息；因为在利用转换得到的图像G(x,c)重建输入图像x时，需要获取标签c′的完整信息，因此网络引入一个掩码矢量和训练策略。

8.基于权利要求书7所述的掩码矢量，其特征在于，掩码矢量m允许统一生成对抗网络忽略来自于特定数据集的未知标签以及已知标签；在统一生成对抗网络中，使用一个n维独热码矢量来表征掩码矢量m，其中n代表数据库的数目；

另外，标签的统一格式定义如下：

其中，c_i表示第i个数据库的标签矢量；明确已知的标签矢量可以使用二进制矢量来表示二值属性或者使用独热码矢量来表示类别属性；剩下的n-1个未知的标签赋值为0。