[发明专利]基于注意力机制的高动态范围多曝光图像融合模型及方法

权利要求书

1.一种基于注意力机制的高动态范围多曝光图像融合模型，其特征在于包括特征提取模块、注意力机制模块以及特征重建模块，将目标场景两张不同曝光图像分别输入到结构相同的两组特征提取模块中，获得目标场景两张不同曝光图像对应的两组高维特征图；随后将上述两组高维特征图作为输入分别送入相应的注意力机制模块，得到重建融合图像所需的纯净高维特征；特征重建模块将注意力机制模块输出的两组不同曝光图像的高维特征融合重建为高动态范围图像。

2.一种采用权利要求1所述的模型实现的基于注意力机制的高动态范围多曝光图像融合方法，其特征在于步骤如下：

步骤1：读取训练的欠曝光图像U和过曝光图像O；将读取的U和O剪切成若干个子图像M，M的大小为w×h×c，w和h表示M的宽和高，c表示M的通道数，再将剪裁的子图像M进行数据增强；

步骤2：以子图像M作为输入源，通过特征提取模块构建单层卷积神经网络层，其中卷积核大小为W×H，通过卷积神经层分别将U和O转化为64维的特征f₁，f₁的大小为w×h×64，计算方法如下：

f₁＝C₁(M) (1)

式中，C1表示对应卷积操作；

步骤3：以f₁为输入源，输入到Unet网络进行图像特征的多尺度特征提取，得到确定包含64通道的高维多尺度特征f₂，f₂大小为w×h×64，计算方法如下：

f₂＝U(f₁) (2)

式中，U表示Unet网络的卷积操作；

步骤4：构建两个结构相同的注意力机制模块A，使用注意力机制模块A分别对Unet网络输出的不同曝光图像的特征图f₂进行Squeeze操作，采用全局平均池化方式将通道上整个空间特征编码为全局特征，计算公式如下：

式中，F_sq(·)表示Squeeze操作，i，j表示像素点，R^C表示C维度，f_c为Squeeze操作的结果；然后对全局特征采用Excitation操作，为了降低模型复杂度以及提升泛化能力，采用两个全连接操作，全连接之间使用ReLU激活函数进行非线性处理，最后通过归一化函数Sigmoid输出权值向量，Excitation操作使得网络学习各通道间的关系，也得到不同通道的权值f₃，计算方式如下：

f₃＝F_ex(f_c,W)＝σ(g(f_c,W))＝σ(W₂ReLU(W₁f_c)) (4)

式中，表示W₁维度为表示W₂维度为r为缩放因子；

步骤5：运用乘法运算将Unet网络输出的图像特征f₂与注意力机制学习到的各通道权值f₃相乘得到最终图像特征f₄，计算方法如下：

f₄＝F_scale(f₂,f₃)＝f₂·f₃ (5)

式中，·表示矩阵相乘运算；

步骤6：通过拼接操作欠曝和过曝图像的高维图像特征f_u,4，f_o,4得到特征图F0，F0的大小为w×h×128，计算方式如下：

F₀＝concat(f_u,4+f_o,4) (6)

式中，f_u,4和f_o,4分别表示欠曝光图像，过曝光图像经过注意力机制后得到的图像特征，concat表示特征拼接操作；

步骤7：以F₀为输入源，通过特征重建模块得到高动态范围图像，特征重建模块首先利用单层卷积神经网络层将拼接的特征图F₀转化成64通道的特征图F₁，F₁大小为w×h×64，其次将特征图F₁提供给DRDB单元输出特征图F₂，其中DRDB单元是基于扩张卷积改进残差稠密单元得到的，最后利用2个卷积层依次卷积特征图F₂得到特征图F₃，最后得到高动态范围图像，其中F₃的大小为w×h×16，计算方法如下：

F₁＝C₁(F₀) (7)

F₂＝DRDB(F₁) (8)

F₃＝C₂(F₂) (9)

HDR＝C₃(F₃) (10)

式中，DRDB表示扩张残差稠密单元卷积操作，C₁，C₂，C₃表示单层卷积层，HDR表示高动态范围图像；

步骤8：设计损失函数，进行迭代，更新模型，所述的损失函数为：

Loss＝λL_SSIM+L_content (16)

L_SSIM＝α_oSSIM_O,F+α_uSSIM_U,F (12)

L_content＝β_OL_O,F+β_UL_U,F (15)

其中，SSIM_O,F，SSIM_U,F分别表示过曝图像O和欠曝图像U与融合图像F的结构相似性，λ表示超参数，α_o和α_u分别为过曝图像O和欠曝图像U的权重系数，β_O和β_U分别为过曝图像O和欠曝图像U的权重系数，L_O,F、L_U,F分别表示过曝图像O和欠曝图像U与融合图像F的内容相似性；

步骤9：读取需要处理的欠曝光U和过曝光图像O，通过参数完备的训练模型得到高动态范围图像HDR。