[发明专利]一种多源图像高效融合方法、系统及介质

说明书

本发明公开了一种多源图像高效融合方法、系统及介质，本发明方法包括针对由两个特征提取网络D和一个特征重建网络F构成的多源图像高效融合网络进行下述训练：将样本对的源图像与分别输入特征提取网络D提取高维图像特征与，拼接为融合特征再经特征融合网络F生成融合图像；将与分别输入至中间信息层Lsubgt;i/subgt;生成权重与以引导计算根据权重融合图像与权重源图像之间的相似性设计的损失函数Loss的值以完成特征提取网络D和特征融合网络F的训练。本发明具有融合速度快、视觉效果好、纹理信息明显、结构保持度高、普适性强的优点。

技术领域

本发明涉及多源图像高效融合技术领域，具体涉及一种多源图像高效融合方法、系统及介质。

背景技术

多源图像高效融合旨在将不同输入源图像的优势信息快速整合于一张图像中，以提高图像判读、目标识别、场景分类等后续工作的效率。该类型的融合在视频监控、伪装分析、摄影等方面都存在大量应用。具体来说，这种图像融合是主要包含多模态融合、多聚焦融合、多曝光融合等不同种类的融合。

通常该类型的融合被分类两大类，即传统图像融合与非传统图像融合。传统的像素级统一图像融合几乎与手工设计的图像特征提取、融合、重建三个步骤不可分割。最常见的特征提取方法包括稀疏表示（SR）、多尺度变换（MST）、字典学习等。融合规则包括最大值、最小值、加法、L1范数（l1-norm）等。传统的像素级统一图像融合方法严重依赖专家知识来提取特征和制定融合策略，这不仅导致模型的泛化能力较差，而且严重限制了融合效果。此外，该方法通常需要根据融合类型进行参数调整，且参数调整过程复杂、耗时。近年来以卷积神经网络为主流的非传统图像融合在融合性能上取得了重大突破，其根据网络类型可大致分为基于损失函数控制、基于先验信息控制、基于人工算子等网络类型。以U2Fusion（统一无监督图像融合网络，参见：Xu, Han, et al. U2Fusion: A unified unsupervisedimage fusion network. IEEE Transactions on Pattern Analysis and MachineIntelligence 44.1 (2020): 502-518.）、FusionDN（图像融合统一密集连接网络，参见：Xu, Han, et al. Fusiondn: A unified densely connected network for imagefusion. Proceedings of the AAAI Conference on Artificial Intelligence. Vol.34. No. 07. 2020.）、PMGI（基于梯度和强度比例保持的快速统一图像融合网络，参见：Zhang, Hao, et al. Rethinking the image fusion: A fast unified image fusionnetwork based on proportional maintenance of gradient and intensity.Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 34. No.07. 2020.）为代表的基于损失函数控制的网络，它们通过计算源图像与融合结果之间的相似性来实现图像融合。此外，还通常根据任务或源图像设定损失函数的权重。具体来说，FusionDN使用手工算子来确定权重，而U2Fusion通过使用预先训练好的特征提取网络来确定权重来实现更准确的融合，PMGI则通过手工设计不同的强度损失函数和梯度损失函数的权重来适应不同的融合任务。基于先验信息控制的代表性方法是IFCNN（基于卷积神经网络的通用图像融合框架，参见：Zhang, Yu, et al. IFCNN: A general image fusionframework based on convolutional neural network. Information Fusion 54(2020): 99-118.），IFCNN利用多焦源图像及其地面真值（Ground Truth）实现图像融合，因此融合网络可以揭示源图像和地面真值（Ground Truth）之间的关系。基于人工算子的方法首先在DeepFuse（用于与极端曝光图像对进行曝光融合的深度无监督网络，参见：RamPrabhakar, K., V. Sai Srikar, and R. Venkatesh Babu. Deepfuse: A deepunsupervised approach for exposure fusion with extreme exposure image pairs. Proceedings of the IEEE International Conference on Computer Vision. 2017.）中提出，该方法使用了最大值融合规则。该方法的初衷是为了解决融合过程中缺乏训练数据和地面真值的问题。为了提高DeepFuse的融合效果，DenseFuse（红外及可见光融合网络，参见：Li, Hui, and Xiao-Jun Wu. DenseFuse: A fusion approach to infrared andvisible images. IEEE Transactions on Image Processing28.5 (2018): 2614-2623.）将L1范数（l1-norm）扩展到融合规则中，并在网络中加入了密集连接。