[发明专利]基于注意力机制的高动态范围多曝光图像融合模型及方法

说明书

本发明涉及一种基于注意力机制的高动态范围多曝光图像融合方法，属于图像处理技术领域。首先，将目标场景两张不同曝光图像分别输入到结构相同的两组特征提取模块中，获得目标场景两张不同曝光图像对应的两组高维特征图。随后将上述两组高维特征图作为输入分别送入相应的注意力机制模块，以突出融合有利的图像特征，抑制欠饱和、过饱和等低质量区域的特征，得到重建融合图像所需的纯净高维特征。特征重建模块将注意力机制模块输出的两组不同曝光图像的高维特征融合重建为高动态范围图像。本发明方法提高了高动态范围多曝光图像融合的质量和鲁棒性。

技术领域

本发明涉及一种高动态范围成像的多曝光图像融合模型及方法，属于图像处理技术领域。

背景技术

自然场景有很宽广的动态范围，如微弱星光亮度约为10^-4cd/m²，恒星强光亮度范围为10⁵～10⁹cd/m²，通过数码单反相机拍摄记录时，往往因为数码相机动态范围受限，导致拍摄的照片出现过曝光和欠曝光。高动态范围多曝光图像融合技术旨在扩大图像动态范围，解决由数码相机动态范围受限无法捕获高动态范围图像而产生的问题。近年来，随着算力水平的提升，高动态范围多曝光图像融合方法研究从传统的基于变换的方法，逐渐转向基于深度学习的方法。传统的基于变换的方法通常利用某种图像变换(拉普拉斯金字塔、小波变化、稀疏表示等)将输入图像转换为特征图，根据人工定义的融合策略进行特征融合，得到包含丰富信息的高动态范围图像。而基于深度学习的方法解决了传统高动态范围多曝光图像融合方法不能自适应学习图像特征的不足，生成比传统方法细节更丰富的高动态范围图像。但多曝光图像由于曝光时间不同，同一场景不同曝光图像中的物体具有信息互补，以及亮度，色度，结构对应关系复杂的特点。因此，已有的基于深度学习的高动态范围多曝光图像融合方法仍存在图像失真、细节丢失，以及无法突出融合有利图像特征等问题。

发明内容

要解决的技术问题

针对已有高动态范围多曝光图像融合方法存在图像失真、细节丢失，以及源图像序列互补信息无法充分利用等问题，本发明提出了一种基于注意力机制的高动态范围多曝光图像融合模型及方法，所提方法进一步提高了高动态范围多曝光图像融合的质量和鲁棒性。

技术方案

一种基于注意力机制的高动态范围多曝光图像融合模型，其特征在于包括特征提取模块、注意力机制模块以及特征重建模块，将目标场景两张不同曝光图像分别输入到结构相同的两组特征提取模块中，获得目标场景两张不同曝光图像对应的两组高维特征图；随后将上述两组高维特征图作为输入分别送入相应的注意力机制模块，得到重建融合图像所需的纯净高维特征；特征重建模块将注意力机制模块输出的两组不同曝光图像的高维特征融合重建为高动态范围图像。

一种基于注意力机制的高动态范围多曝光图像融合方法，其特征在于步骤如下：

步骤1：读取训练的欠曝光图像U和过曝光图像O；将读取的U和O剪切成若干个子图像M，M的大小为w×h×c，w和h表示M的宽和高，c表示M的通道数，再将剪裁的子图像M进行数据增强；

步骤2：以子图像M作为输入源，通过特征提取模块构建单层卷积神经网络层，其中卷积核大小为W×H，通过卷积神经层分别将U和O转化为64维的特征f₁，f₁的大小为w×h×64，计算方法如下：

f₁＝C₁(M) (1)

式中，C1表示对应卷积操作；

步骤3：以f₁为输入源，输入到Unet网络进行图像特征的多尺度特征提取，得到确定包含64通道的高维多尺度特征f₂，f₂大小为w×h×64，计算方法如下：