[发明专利]一种融合红外和可见光图像的目标检测方法

权利要求书

1.一种融合红外和可见光图像的目标检测方法，其特征在于，包括如下步骤：

S1、将红外图像和可见光图像分别输入到密集卷积网络的输入通道，通过密集卷积网络对所述红外图像和可见光图像的特征进行提取；

S2、通过门控融合机制对红外图像的特征和可见光图像的特征进行全局特征融合得到融合后的特征图；

S3、采用CSP检测器对融合后的特征图进行目标检测。

2.如权利要求1所述的融合红外和可见光图像的目标检测方法，其特征在于，所述的步骤S2包括：

步骤S2.1、采用门控融合机制进行图像融合，F_vi∈R^b×c×w×h和F_ir∈R^b×c×w×h分别代表可见光图像提取后的特征图和红外图像提取后特征图，对F_vi和F_ir进行通道维度上的连接操作，得到F_fusion∈R^b×2c×w×h，其中b、c、w、h分别代表图像数据的几个维度：批量大小、图像通道数、图像宽度、图像高度；

步骤S2.2、通过卷积核K∈R^2c×c×1×1对F_fusion进行卷积操作。卷积核的输入通道维数为2c，输出通道维数为c，卷积核大小为1×1，卷积后的相关性矩阵M∈R^b×c×w×h表示为：

通过一个sigmoid层对相关性矩阵归一化处理，得到归一化后相关性矩阵G：

步骤S2.3、令可见光图像相关性矩阵G_vi＝G，红外图像相关性矩阵G_ir＝1-G，G_vi、G_ir分别代表可见光图像和红外图像对目标检测任务的贡献程度：

f′_vi＝f_vi⊙G_vi (8)

f′_ir＝f_ir⊙G_ir (9)

f′_fusion＝f′_vi+f′_ir (10)

⊙代表点积操作，当G_vi＜G_ir时，代表目标检测任务更依赖红外图像的输入，当G_vi＞G_ir时，代表可见光图像对目标检测任务的贡献度更高，f′_fusion即为经过门控融合机制后的特征图。

3.如权利要求1所述的融合红外和可见光图像的目标检测方法，其特征在于，所述的步骤S3包括：采用CSP检测器将目标检测问题转化为物体中心位置与背景的分类问题和物体尺度大小的回归问题。

4.如权利要求1所述的融合红外和可见光图像的目标检测方法，其特征在于，所述的步骤S3中通过一3×3卷积层将输入特征图的维度压缩到256，然后接上两个并联的1×1卷积层产生目标中心点热图和目标尺度预测图。