[发明专利]一种联合目标检测的红外光和可见光图像融合方法

说明书

本发明公开了一种联合目标检测的红外光和可见光图像融合方法，包括；1)使用现有的数据集，在模型中加载可见光图像和图像标签文件，通过网络的数据增强、卷积层模块，同时进行损失函数的计算；根据反向传播的损失，在训练过程中按照损失减小的方向调整网络权值；在迭代多次后，将参数用于检测网络，得到预训练的检测网络；2)将可见光和红外光图像输入至融合网络的输入端，图像通过特征提取网络模块和图像重建模块，进行融合网络的训练；3)融合网络输出生成的融合图像，再将其输入至检测网络进行检测网络的正式训练，得到检测网络的训练权重；完成所有步骤后，得到训练好网络参数的融合网络和检测网络。本发明提高目标检测阶段的平均精确度。

技术领域

本发明属于红外光和可见光图像融合技术领域，具体涉及一种联合目标检测的红外光和可见光图像融合方法。

背景技术

现有的目标检测方法，应用的场景较为局限。基于可见光图像的目标检测方法可以在光照充足的场景下检测出各类目标，被广泛应用在自动驾驶、实时监控等领域。然而在黑夜、雨雪、大雾等能见度低的情况，识别率会大幅降低。因此仅对可见光图像进行目标检测，检测的应用场景就较为局限。

将现有的红外光和可见光图像融合方法生成的融合图像直接用于目标检测，达到的精度过低。由于领域内学者对融合方法的评价指标仅限于主观的分析和客观的图像质量评价指标，生成的融合图像虽然可以达到较高的图像质量评价指标，但不能与高层视觉任务很好地配合。实验表明，将现有的红外光和可见光图像融合方法直接应用于高层视觉任务上，达到的精度不高，致使红外光和可见光图像融合的方法无法配合高层视觉任务，应用在更多的场景中。

现有联合目标检测的红外光和可见光图像融合方法实时性较差。现有的红外光和可见光图像融合方法，其中有图像融合联合目标检测的方法，然而使用的模型结构基于生成对抗网络，结构较为复杂，网络训练不易平衡，其生成融合图像的速度较慢。由于大多目标检测的应用场景要求检测的实时性，其使用生成对抗网络的图像融合方法实时性不足，难以满足后续高层视觉任务的需要。

现有的许多旨在提高视觉质量的红外光和可见光图像融合方法已经被开发出来，主要分为传统的图像融合方法和基于深度学习的图像融合方法。

传统图像融合方法，特征提取主要依赖人工设计的特征提取器，需要有专业知识及复杂的调参过程，同时毎个方法都是针对具体应用。其次，传统方法通常使用相同的变换或表示从源图像中提取特征，却没能考虑不同源图像存在本质差异，同时手工设计的融合规则无法适应复杂的融合场景，而且为了追求更好的融合性能，特征提取方式和融合规则的设计变得越来越复杂，使生成融合图像的过程缺乏实时性。传统图像融合方法具有普遍泛化性弱及鲁棒性较差的缺点。