[发明专利]一种基于深度注意生成对抗网络的实例级图像翻译技术

权利要求书

1.一种基于深度注意生成对抗网络的实例级图像翻译技术，其特征在于，主要包括网络模块(一)；实例级图像翻译(二)；集合级图像翻译(三)；完整目标函数(四)。

2.基于权利要求书1所述的网络模块(一)，其特征在于，深度注意生成对抗网络包括四个网络模块：深度注意编码器、生成器、鉴别器D1和鉴别器D2。

3.基于权利要求书2所述的深度注意编码器，其特征在于，给定一个输入图像X的特征图像E(X)，首先采用定位函数预测一系列注意区域的位置；一旦得到了注意区域的位置，就可以获得注意掩码

具体来讲，用w和h分别表示图像X宽度和高度的一半，那么，可以采用下面公式对注意区域进行参数化：

然后，通过点乘运算计算接着得到注意区域

4.基于权利要求书2所述的生成器，其特征在于，生成器接收来自隐空间的高度结构化表达式，用于产生翻译得到的样本；

生成器被迫翻译那些无法从真实图像区分出来的样本。

5.基于权利要求书2所述的鉴别器D1和鉴别器D2，其特征在于，在目标域当中，使用鉴别器D1把翻译的样本从真实图像里面鉴别出来；鉴别器D2识别重构获得的无法分辨的样本。

6.基于权利要求书1所述的实例级图像翻译(二)，其特征在于，采用一致性损失函数：

另外，采用对称损失函数：

上式也可以当作是应用于样本的自编码损失函数；其中，d是距离，理论上有许多不同的取值。

7.基于权利要求书1所述的集合级图像翻译(三)，其特征在于，在目标域可以把当作是一个自动编码器；对于目标域里面的任意一个节点，F(t)可以产生距离很近的节点；

上式表示目标函数；这个多对抗性训练过程有利于惩罚丢失的节点，它促使F(t)往邻近的节点靠近；从而可以获得针对不同节点的公平的概率密度函数。

8.基于权利要求书1所述的完整目标函数(四)，其特征在于，完整的目标函数可以由下面式子给出，即：

其中α和β分别是一致损失函数和对称损失函数的权重；

目的在于求解下列优化问题：

其中，网络采用由残差块组成的生成器。

9.基于权利要求书8所述的网络，其特征在于，对于生成器，实例级表达沿着信道方向串联起来，并反馈至残差块；最后，一系列上采样网络层被用于产生一张翻译图像；

对于鉴别器，生成的图像通过下采样块反馈出去；最后，一个带有单一节点的全连接网络层被用于生成一个决策分数。

10.基于权利要求书9所述的上采样和残差块，其特征在于，上采样块包括由以3×3为距离的卷积块组成的最近邻上采样；

残差块包括以3×3为距离的卷积块和分批归一化块。