[发明专利]一种红外图像与可见光图像融合方法、系统、设备及终端

权利要求书

1.一种红外图像与可见光图像融合方法，其特征在于，所述红外图像与可见光图像融合方法包括以下步骤：

步骤一，图像获取：从公开数据集中获取配准后的红外图像与可见光图像或由外部架设的工业级相机采集到同一场景的红外图像和可见光图像；

步骤二，图像配准：对获取的红外图像和可见光图像进行配准和灰度化处理，得到配准后的灰度化红外图像和可见光图像；

步骤三，边缘提取：利用Canny算子对可见光图像进行边缘提取，得到可见光图像的边缘信息与纹理信息；

步骤四，图像融合：利用深度学习算法对灰度化红外图像与可见光图像进行融合，得到初步融合结果；

步骤五，细节增强：将可见光图像的边缘信息与纹理信息和融合图像进行叠加，得到最终融合结果。

2.如权利要求1所述红外图像与可见光图像融合方法，其特征在于，步骤二中，所述图像配准，包括：从公开数据集中获取配准后的红外图像与可见光图像或由外部架设的工业级相机将采集到的同一场景的红外图像与可见光图像以局域网的形式传输给同一地址段的本地计算机，完成图像采集；灰度化采集到的图像并手动进行配准，得到配准后的红外图像与可见光图像。

3.如权利要求1所述红外图像与可见光图像融合方法，其特征在于，步骤三中，所述边缘提取，包括：基于Canny算子对可见光图像进行边缘提取，使用高斯滤波器，以平滑图像，滤除噪声；计算图像中每个像素点的梯度强度和方向，应用非极大值抑制，以消除边缘检测带来的杂散响应；应用双阈值检测确定真实的和潜在的边缘后，通过抑制孤立的弱边缘最终完成边缘检测。

4.如权利要求1所述红外图像与可见光图像融合方法，其特征在于，步骤四中，所述图像融合，包括：采用融合算法对配准后的灰度化红外图像与可见光图像进行融合，得到既包含红外图像结构信息又包含可见光图像纹理信息的融合图像；所述算法包括：

(1)提取特征：将红外图像和可见光图像分别输入至网络的编码层提取深层特征；

(2)特征融合：对红外图像特征图和可见光图像特征图叠加，得到融合图像特征图，公式如下：

f_fused＝f_IR+f_VIS；

(3)输出融合图像：将融合的特征图输入至解码层以构建融合图像。

5.如权利要求4所述红外图像与可见光图像融合方法，其特征在于，步骤(1)中，所述编码层由八个ResLayer模块组成，每个ResLayer模块中层次顺序为：卷积层-批量归一化层-激活层-卷积层-批量归一化层-激活层-卷积层-批量归一化层-激活层-卷积层-批量归一化层；其中所有卷积层大小为3×3，步长为1；

步骤(3)中，所述解码层中层次顺序为：卷积层-激活层-卷积层-激活层-卷积层-激活层-卷积层；其中所有卷积层大小为3×3，步长为1。

6.如权利要求1所述红外图像与可见光图像融合方法，其特征在于，步骤五中，所述细节增强，包括：将利用Canny算子提取出的可见光图像的细节信息与纹理信息与融合图像相加，得到最终融合图像，公式如下：

f_out＝w₁f_fused+w₂f_Canny；

其中，w₁，w₂分别代表赋予融合图像和边缘纹理图像的权重；其中w₁取0.97，w₂取0.03。