[发明专利]基于自注意力机制的红外和可见光图像融合方法

说明书

基于自注意力机制的红外和可见光图像融合方法，属于图像融合领域。主要解决图像融合时忽略人眼主观感受的重要性问题。其实现步骤是：1)搭建基于自注意力机制的深度自编码网络结构，以端到端的方式对特征提取，融合规则和重构规则同时学习；2)将编码层不同分支的特征图输入自注意力机制获得注意力图，并采用均值融合策略获得输出特征图；3)设计内容损失和细节损失两类损失函数，分别用于突出红外目标信息，锐化边缘和更好地利用源图像中的纹理细节；4)训练神经网络，并对自注意力机制进行可视化以调整网络结构和损失函数。本发明能通过学习注意力图以最佳方式分配注意力，获取图像关键信息，改善视觉效果，提高融合图像的质量。

技术领域

本发明属于图像融合领域，涉及一种基于自注意力机制的红外和可见光图像融合方法，在军事监测、视频监控和计算机视觉等领域中有广泛的应用。

背景技术

红外和可见光图像的融合在视频监控、物体检测和目标识别等领域有重要意义。红外传感器能够捕获场景的热信息，对于外界环境具备较强的抗干扰能力和目标识别能力。但在成像效果，信噪比等方面表现一般，易缺失背景细节，分辨率较低。可见光传感器可获取图像的几何和纹理细节以及色彩信息，利用光的反射率成像，因此具备光谱信息丰富，分辨率高，动态范围广等特点。但在恶劣天气情况下，由于其穿透能力变弱，易丢失重要目标。红外和可见光图像融合的目标是整合红外传感器和可见光传感器获取图像的优势合成理想的融合图像，可以同时获得的突出的目标与清晰的背景。

在过去一段时间，一些经典的图像融合算法被提出，主要包括多尺度变换、稀疏表示、神经网络和子空间等。基于多尺度变换融合算法是图像融合算法中应用最为广泛的，具体地，首先将源图像转换至变换域，然后将分解系数与预先设计的融合规则合并，最后通过执行相应的逆变换获得融合图像。但基于多尺度变换方法需手工设计融合规则，应用场景受限。最近，深度学习技术广泛应用于各种图像融合任务，并在图像融合领域取得巨大的成功。深度学习作为一种特征学习方法，具有强大的数据建模能力，可以从数据中提取特征信息，把原始数据通过简单非线性模型转换为更高层次，更加抽象的表达。深度学习具备自适应性，避免了手工设计的复杂性，能够在深度网络权重的迭代过程中提高特征的提取和学习能力。然而，目前基于深度学习的融合方法存在以下四个挑战：(1)大部分采用有监督学习策略，图像标签数据的精确度直接影响了分类的精确度，从而影响了融合规则和融合效果；(2)仅利用最后一层的输出设计融合策略，这忽略了中间层的重要信息；(3)卷积神经网络一般是局部操作，受到感受野大小的限制很难提取到图像中长距离依赖；(4)忽略了人眼主观感受对融合结果的重要性。

注意力机制作为神经网络结构的重要组成部分，通过模仿生物观察行为的内部过程，将内部经验和外部感觉对齐从而增加部分区域的观察精细度，在自然语言处理、统计学习和计算机视觉等领域有着广泛的应用。自注意力机制即内注意力，是对注意力机制的改进，通过关注同一序列中所有位置来计算序列中每个位置的响应程度，这有利于降低对训练数据的依赖性和获取特征内部相关性。自注意力机制不仅能够捕捉全局的信息来获得更大的感受野和上下文信息，而且将所有位置的特征加权和作为单个位置的注意力度，在建立长距离依赖模型和提高计算效率间实现平衡。本发明提出了基于自注意力机制的红外和可见光图像融合方法，基于深度自编码网络设计融合策略，无需标签数据，结合自注意力机制设计均值融合策略，设计了内容损失和细节损失两类损失函数，分别用于强化红外显著目标，锐化边缘和更好地利用源图像中的纹理细节，并根据注意力图进行损失函数的调整，获得了较优的融合结果，提高了融合图像的质量。

发明内容

本发明的目的是针对上述现有技术的不足，提出一种基于自注意力机制的红外和可见光图像融合方法，以解决忽略人眼主观感受的问题，通过内容损失和细节损失驱动自注意力单元获得关键信息，增强图像清晰度，改善视觉效果，提高融合图像的质量。本发明解决其问题所采用的技术方案如下：

基于自注意力机制的红外和可见光图像融合方法，步骤如下：

1)搭建基于自注意力机制的深度自编码网络结构，以端到端的方式对特征提取、融合规则和重构规则同时学习；