[发明专利]一种基于特征自适应融合的红外可见光跨模态目标检测方法

说明书

本发明涉及一种基于特征自适应融合的红外可见光跨模态目标检测方法，属于基于深度学习的图像处理技术领域。首先将可见光图像和红外图像输入到特征提取模块提取可见光图像和红外图像的特征。再将特征输入到模态间权重自适应模块中，使更多对特征融合有益的模态间互补信息被保留。之后将各层融合特征输入到高低层特征权重自学习模块，保留更多不同层级间有用信息。最后输入到检测模块进行目标检测。本发明能够充分利用模态内通道间的重要信息和可见光图像与红外图像模态间的互补信息，并且有效融合高低层特征，增强全天侯目标检测的鲁棒性。

技术领域

本发明属于基于深度学习的图像处理技术领域，涉及一种基于特征自适应融合的红外可见光跨模态目标检测方法。

背景技术

经济的快速发展导致车辆呈现逐年增多的趋势，出行安全成为越来越重要的问题，高鲁棒性的目标检测可以极大的提升出行的安全。传统的目标检测算法大多是基于单类型传感器，比如可见光相机，但是其效果在夜间或者其他光线不良的条件下不理想，然而红外相机在夜间或者光线不良的条件下可以充分发挥出优势。因此，近年来许多学者对基于可见光和红外图像的跨模态目标检测做出研究，通过将两种传感器所得图像的优势进行结果，提高全天候目标检测的鲁棒性。

然而目前基于可见光和红外图像的跨模态目标检测算法大多是在各自的特征提取网络进行特征提取，随后级联生成融合特征，其并没有考虑模态间的相互关系和高低层特征的联系。

因此，基于模态间关系和高低层特征的联系考虑不充分的问题，有必要提出一种基于特征自适应融合的红外可见光跨模态目标检测方法，以实现模态间和高低层特征自适应融合的问题。

发明内容

本发明的发明目的是实现模态间和高低层特征自适应融合，为此提供了一种基于特征自适应融合的红外可见光跨模态目标检测方法。

本发明采用以下技术方案达到上述目的。

一种基于特征自适应融合的红外可见光跨模态目标检测方法，具体步骤为：

Step1:将可见光图像和红外图像输入到图像预处理模块进行预处理，随后输入到特征提取模块，提取可见光和红外图像特征。

Step2:将Step1提取的特征输入到模态间权重自适应模块，使模态间更多有用信息被保留。

Step3:将Step2中所得的高低层融合特征输入到高低层特征权重自学习模块，保留更多不同层级间有用信息。

Step4：将Step3所得的融合特征输入到检测模块进行目标检测。

进一步的，Step1中所述预处理过程中将红外图像的单通道复制成三个通道，特征提取模块为基于ResNet-50的前4个卷积模块作为卷积层构成的，并将其复制成双支特征提取网络，分别用于提取可见光图像特征和红外图像特征，卷积层操作具体为：

F_V＝Res′(V_images)  (1)

F_T＝Res′(T_images)  (2)

式中，Res^′表示ResNet-50算法的部分特征提取网络，共包含四个特征层，分别对应ResNet-50的conv1、conv2_x、conv3_x和conv4_x，V_images和T_images分别表示图像预处理后的可见光图像和红外图像，F_V和F_T分别表示提取到的可见光图像和红外图像特征。

进一步的，Step1中所述特征提取模块中插入注意力机制算法，位置在卷积层之后数量一共也为4，注意力机制包括通道注意力和空间注意力，分别对通道信息和空间信息赋权，使得对特征融合和目标检测有用的信息得到更多的保留，无用信息被抑制，具体为：