[发明专利]一种基于图像融合的多模态图像目标检测方法

摘要

本发明涉及一种基于图像融合的多模态图像目标检测方法，包括：1)将预先采集好的红外图像及其可见光图像，制作多模态图像数据集；2)将预处理好的成对图像作为融合模型中生成模型G的输入；生成模型G基于U‑Net等全卷积网络，以残差网络为基础的卷积神经网络作为生成网络模型结构，包括收缩过程和扩张过程，收缩路径包括多个卷积加ReLU激活层再加最大池化(Max Pooling)结构，下采样的每一步特征通道数都增加一倍，输出生成的融合图像；融合图像输入融合模型中的判别网络模型；根据训练过程中损失函数的变化，按迭代次数调节学习率训练指标，经训练，基于自有多模态图像数据集，能够得到同时保留红外图像热辐射特征和可见光图像结构性纹理特征的图像融合模型。

主权项

1.一种基于图像融合的多模态图像目标检测方法，包括下列步骤：1)将预先采集好的红外图像及其可见光图像，制作多模态图像数据集，图像格式均为单通道，包含具有结构和纹理特征的可见光图像和具有热成像信息的红外图像，按照图像模态分别制作训练集和测试集。2)将步骤1得到的训练集中的红外和可见光的多模态图像对进行包括进行裁剪和旋转平移操作在内的图像预处理，将预处理好的成对图像作为融合模型中生成模型G的输入；生成模型G基于U‑Net等全卷积网络，以残差网络为基础的卷积神经网络作为生成网络模型结构，包括收缩过程和扩张过程，收缩路径包括多个卷积加ReLU激活层再加最大池化(Max Pooling)结构，下采样的每一步特征通道数都增加一倍，输出生成的融合图像；3)将步骤2中得到生成模型G输出的融合图像输入融合模型中的判别网络模型D，判别网络模型D由一组孪生架构的卷积神经网络组成，对生成的融合图像进行无监督的质量评估，包括一组由交叉熵、重建误差、结构误差组成的损失函数，用以对融合图像和训练集中的原图像进行相似度丈量，来确定图像融合任务的完成度；同时优化生成网络G和判别网络D，方法为：输入训练集中原图像，更新G，误差变大；更新D，误差变小；更新G，重建误差变小，最终实现纳什均衡的动态平衡和同时优化；优化方法采用最小二乘的生成对抗方法；4)重复进行步骤3，根据训练过程中损失函数的变化，按迭代次数调节学习率训练指标.经训练，基于自有多模态图像数据集，能够得到同时保留红外图像热辐射特征和可见光图像结构性纹理特征的图像融合模型；5)在步骤1中构造的测试集中取红外和可见光的多模态图像对，输入到步骤4中训练得到的融合模型中，继而输出融合图像；再将得到的测试集，融合串联进基于深度卷积神经网络的检测模型，以在检测行人的红外热信息进行试例分析，得到行人的位置以及置信度。