[发明专利]一种基于注意力生成对抗网络的多曝光图像融合方法

权利要求书

1.一种基于注意力生成对抗网络的多曝光图像融合方法，其特征在于：包括基于注意力机制的生成对抗网络结构搭建，多曝光图像融合生成网络与判别网络对抗训练、多曝光图像融合测试三部分；

首先，第一部分是进行基于注意力机制的生成对抗网络搭建，总体网络由生成网络和判别网络两部分构成，在生成网络中引入了注意力机制；网络搭建具体包括以下步骤：

1)生成网络结构搭建

生成网络结构由特征提取和注意力机制融合构成；特征提取部分由输出通道数为32的3×3卷积、PReLU激活操作，5个输入输出通道均为32的残差块模块，再经过输出通道为32的3×3卷积和PReLU激活操作来完成，将得到的特征图与经过第一层卷积和激活操作的特征图对应位置相加，即对一幅图像完成了特征提取操作，得到一幅图像的32个特征图；同时对一个训练对中的N幅输入图像中的每幅图像都进行相同的特征提取，得到N幅图像的32个特征图，将它们级联得到N×32个特征图；

其中，每个残差块操作包括顺序的1层3×3卷积，批归一化操作和PReLU激活，然后，1层3×3卷积，和批归一化操作，最后将上述操作的结果特征图与输入的特征图对应位置相加，即可得到一次残差块的结果；

注意力模块设计为级联的混合注意力模块，即先对输入的特征图进行通道注意力操作，将通道注意力权值与通道特征图逐通道相乘，完成通道注意力操作；然后对通道注意力调整过的特征图进行空间注意力操作，计算每个空间位置的权值，将权值与特征图逐元素相乘，完成空间注意力操作；经过通道注意力和空间注意力的顺序操作，则完成了混合注意力操作；

其中，通道注意力操作是基于通道平面进行两种池化操作来提取注意力参数；分别计算输入特征图每个通道的全局Average pooling(平均值)和Max pooling(最大值)，得到与输入特征图尺度以及通道数量相同的特征向量，然后将两个特征向量分别经过权值共享的多层感知机，将两个特征向量线性相加后经过sigmoid激活操作得到通道注意力结果，即得到每个特征图的权重；将通道注意力权值与对应的通道进行相乘，得到通道注意力调整后的特征图；

空间注意力操作是所有通道的特征图以空间位置为单位进行Average pooling(平均值)和Max pooling(最大值)，将其按通道维度拼接在一起得到与输入特征图尺度一致的2个权值矩阵；然后，将得到的特征图进行7×7卷积操作，得到和输入特征图尺度一致的空间注意力权值矩阵，即得到每个空间位置的权重；对经过通道注意力操作之后，进行特征图与空间注意力权值的逐元素相乘，完成混合注意力操作；

在经过注意力操作之后，进行3×3卷积操作，通过tanh激活函数得到输出的融合结果；

2)判别网络结构搭建

判别网络与生成网络相连，它接收生成网络的结果以及生成网络输入图像对应的Ground-truth，用于判断两个输入图像的真假；判别网络包含10个卷积层，滤波器尺寸都为3×3，滤波器数目不断增加，从64个增加到1024个，每2次增加一倍；在第2–8个卷积操作层，每个卷积层包含1个卷积运算，1个批量归一化，1个LeakyReLU激活，只有第1个卷积层没有批归一化操作；接下来，对512个特征图顺序进行平均池化操作，卷积运算，LeakyReLU激活，再次卷积操作，最后用sigmoid函数激活输出判别结果；

第二部分是多曝光图像融合生成网络与判别网络对抗训练；

首先是训练数据的准备，降采样然后分割，将每对图像分成6块；

对抗训练方法是生成网络和判别网络交替训练，先利用生成损失进行一次生成网络训练，反向传播，然后利用判别损失进行一次判别网络训练，再反向传播，这样一直交替训练；总的损失函数如公式(1)所示：

min_Gmax_Df(G,D)， (1)

以此达到那什均衡，完成训练；

设计的生成网络的损失函数由四部分组成，分别是图像损失(l_mse)、感知损失(l_pe)、对抗损失(l_ad)和TV损失(l_tv)；

将4种损失按一定比例相加就是生成网络损失，具体损失函数如公式(2)所示：

l_mef＝αl_mse+βl_pe+γl_ad+δl_tv， (2)

测试的数据集选用训练部分选择后剩余的数据，做降采样处理，不裁剪，输入测试程序，生成多曝光融合图像；测试程序应用第二部分多曝光图像融合生成网络与判别网络对抗训练的结果，将对抗训练得到的生成网络的参数输入测试程序进行多曝光图像融合，生成多曝光融合图像。