[发明专利]基于高效通道注意力机制的StackGAN++图像生成方法

权利要求书

1.基于高效通道注意力机制的StackGAN++图像生成方法,其特征在于包括以下步骤：

步骤1：图像预处理

先对数据集中的图像进行裁剪，确保鸟类的边界框具有大于0.75的对象-图像大小比；

步骤2：基于高效通道注意力机制的StackGAN++模型的图像生成；

StackGAN++模型的网络结构中的第二个生成器和第三个生成器各有两个残差块，将高效通道注意力模块加到每个残差块后，一共引入四个高效通道注意力模块，得到最终的ECA+(StackGAN++)模型用于图像生成；

步骤3：算法性能比较

采用IS和FID两种度量指标定量地比较不同图像生成算法的性能；以CUB-200-2011作为对比的基准数据集，对比引入高效通道注意力模块的StackGAN++模型和不加注意力机制的原始StackGAN++模型以及引入挤压-激发模块的StackGAN++模型；引入高效通道注意力模块的StackGAN++模型有效提升了生成图像的清晰度和细节感。

2.根据权利要求1所述的基于高效通道注意力机制的StackGAN++图像生成方法,其特征在于步骤2所述的基于高效通道注意力机制的StackGAN++模型的图像生成包括StackGAN++模型和高效通道注意力机制；

所述的StackGAN++模型由多个生成器和多个鉴别器以树状结构构成，从低分辨率到高分辨率的图像都是由树的不同分支生成的；在每个分支上，生成器捕获该尺度上的图像分布，而鉴别器估计样本来自该尺度上的训练图像而不是生成器的概率；多个生成器联合训练来近似多尺度的分布，并且生成器和鉴别器的训练以一种交替的模式进行；

所述的高效通道注意力机制具体如下：令一个卷积块的输出为χ∈R^W×H×C，其中W、H和C分别代表宽、高和通道维数，则高效通道注意力模块的通道权重用如下公式表示：

其中是通道级的全局平均池化(GAP)，σ为Sigmoid函数，C_1D表示一维卷积，k表示卷积的核大小；

StackGAN++的第一个分支得到隐藏特征h₀，然后通过一系列神经网络获得后续分支的隐藏特征，把ECA模块加到第二个和第三个分支神经网络中的每一个残差块后，即：

h_i，1＝F_conv(c_h_i-1)#(7)

h_i，j＝F_eca(F_res(h_i，j-1))，j＝2，3#(8)

h_i＝F_up(h_i，3)#(9)

其中i＝1，2分别表示第二个和第三个分支，c_h_i-1表示连接条件向量c和隐藏特征h_i-1，F_conv表示卷积块，F_res表示残差块，F_up表示上采样块，F_eca表示ECA模块，h_i，j为第i个分支通过神经网络中第j个模块后的隐藏特征；得到每个分支最终的隐藏特征h_i后，用生成器生成样本。

3.根据权利要求2所述的基于高效通道注意力机制的StackGAN++图像生成方法，其特征在于步骤3所述的算法性能比较，具体实现如下：

选取IS和FID这两种指标来进行定量评价；

IS用于评价模型生成图像的清晰性和多样性，其公式可以表示为：

IS＝exp(E_xD_KL(p(y|x)||p(y)))；

其中x表示一个生成的样本，y是Inception分类网络预测的标签；IS越大，表示模型性能越好；

FID度量不仅考虑生成数据分布，而且考虑它与真实数据分布的比较；FID的计算公式表示为：

其中x表示真实图像，g表示生成图像，μ表示均值，∑表示协方差，Tr表示矩阵的迹，即对角线上元素的总和；FID越小，则生成分布和真实分布越接近，模型性能越好；

选择不加注意力机制的原始StackGAN++和引入挤压-激发模块的StackGAN++进行对比，以CUB-200-2011作为对比的基准数据集，将三种模型分别在同一数据集上训练600轮次，比较生成图像的细节性，并分别计算其IS和FID指标进行定量比较。