[发明专利]一种红外与可见光图像融合方法及系统

权利要求书

1.一种红外与可见光图像融合方法，其特征在于，包括：

获取红外图像与可见光图像；

对所述红外图像与可见光图像进行预处理，构建训练集；

构建基于深度学习的红外图像与可见光图像融合模型，并设计其损失函数；

利用所述训练集及所述损失函数对所述融合模型进行训练；

利用训练好的融合模型实现红外图像和可见光图像间的融合，获得融合后的图像。

2.如权利要求1所述的一种红外与可见光图像融合方法，其特征在于，图像数据的获取，具体包括获取红外图像和可见光图像，这些图像数据预先经过严格配准，无需二次配准。

3.如权利要求1所述的一种红外与可见光图像融合方法，其特征在于，对图像数据进行预处理，剔除对训练过程不利数据，所述不利数据包括有模糊不清的数据，对图像数据进行增强处理，所述增强处理包括采用图像翻转、图像亮度增强、图像亮度减弱这三种方式；将已经进行数据增强的数据随机划分为训练集、测试集、验证集；划分标准分别为60％、20％、20％。

4.如权利要求1所述的红外与可见光图像融合方法，其特征在于，构建基于深度学习的红外图像与可见光图像融合模型包括构建深度卷积神经网络基本单元，所述基本单元包括生成器和判别器；所述生成器包括特征提取子网络和融合网络；所述特征提取子网络用来提取红外与可见光图像的显著特征，所述融合网络用来把特征提取子网络提取的特征图选择特定的融合策略进行融合；所述判别器由八层卷积层构成，用来区分融合图像和可见光图像。

5.如权利要求1所述的红外与可见光图像融合方法，其特征在于，红外与可见光图像融合所述生成器损失函数具体为以下形式：

L_G＝L_content+γL_advers+λL_TV

其中，L_G表示生成器的总损失，L_content为内容损失，L_advers为生成器和判别器之间的对抗损失，L_TV为正则项TV损失，λ为控制三项损失平衡的的参数。

6.如权利要求1所述的一种红外与可见光图像融合方法，其特征在于，所述基于深度学习的红外图像与可见光图像融合模型的训练包括：将收集到的红外与可见光图像进行随机裁剪成88*88，分别形成预设数量的图像并输入生成器中，分别形成红外特征图与可见光特征图；将特征图输入进融合网络中，根据加权平均融合进行图像融合，得到初始融合图像；将融合图像和可见光图像输入判别器，若判别器不能很好的区分融合图像和可见光图像，则停止训练。

7.如权利要求1所述的一种红外与可见光图像融合方法，其特征在于，利用训练好的图像融合模型进行图像融合的具体过程包括，利用特征提取子网络分别提取输入图像的显著特征，得到红外特征图和可见光特征图，利用加权平均融合策略得到特征映射图。

8.一种红外与可见光图像融合系统，其特征在于，包括：

图像采集模块，其用于获取红外图像与可见光图像；对所述红外图像与可见光图像进行预处理，构建训练集；

模型构建模块，其用于构建基于深度学习的红外图像与可见光图像融合模型，并设计其损失函数；

模型训练模块，其用于利用所述训练集及所述损失函数对所述融合模型进行训练；

图像融合模块，其用于利用训练好的融合模型实现红外图像和可见光图像间的融合，获得融合后的图像。

9.一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的一种红外与可见光图像融合方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的一种红外与可见光图像融合方法。