[发明专利]一种融合红外和可见光图像的目标检测方法

说明书

本发明公开了一种融合红外和可见光图像的目标检测方法，包括如下步骤：S1、将红外图像和可见光图像分别输入到密集卷积网络的输入通道，通过密集卷积网络对所述红外图像和可见光图像的特征进行提取；S2、通过门控融合机制对红外图像的特征和可见光图像的特征进行全局特征融合得到融合后的特征图；S3、采用CSP检测器对融合后的特征图进行目标检测。

技术领域

本发明涉及融合红外和可见光图像的目标检测技术，主要用于电力应急机器人灭火作业中环境感知与侦测。

背景技术

近年来，自然灾害频发多发，世界多地陆续发生大面积停电事故，且在进行电力应急灭火作业过程中发生了人员伤亡事故，造成了巨大的人员和财产损失，电力应急管理体系建设和智能电力应急灭火作业越来越受到重视。电力故障应急处理有着特殊的危险性，如不可预知的二次爆炸、火灾产生的高温和有毒有害气体等，应急人员往往无法在保证人身安全的前提下第一时间深入现场，对变电站、开关站、配电房等室内故障进行迅速处置，进而延误了应急消防作业的最佳时机。

随着人工智能的快速发展，制造业的生产方式也在逐步发生变革。近些年，环境感知技术在应急作业机器人领域大放异彩，基于机器视觉的感知技术可以获取机器人周边环境的二维或三维图像信息，进而可以对作业环境进行感知。

因此，本发明以目标检测为主体展开研究，应急机器人携带红外摄像机和可见光摄像机，通过前端数据采集，将厂房图像传回中央处理器，通过目标检测技术，对厂房内负责的环境进行目标检测，从而感知应急作业机器人周围环境。传统的图像融合方法包括基于多尺度变换的方法(多尺度变换可以将原始图像分解为不同尺度的分量，其中每个分量代表每个尺度的子图像)、基于稀疏表示的方法、基于神经网络的方法、基于子空间方法、基于显著性方法等。近年来，随着深度学习的发展和计算能力的提升，神经网络在图像融合方面展现他的优势，基于卷积神经网络的方法成功应用于图像融合领域。传统的目标检测方法通过在整个图像上滑动一个小窗口，并检查创建的每个窗口中是否有对象确保检测到所有这些对象。滑动窗口实施起来非常慢，但是你选择的步长使每个窗口都能覆盖图像的一个新区域并且没有重叠的话，速度会更快。受到此方法的启发，YOLO使用网格而不是滑动窗口。本发明采用DenseBlock进行特征提取，并通过门融合机制，对红外图像和可见光图像进行全局特征融合，在通过CSP检测模块后得到目标检测结果。本发明有效地解决了受光照强度、天气情况导致的可见光图像在目标检测时效果变差的问题，另外将目标检测模块中目标的分类问题和检测框的回归问题转化成物体中心位置与背景的分类问题和物体尺度大小的回归问题，有效地实现了检测准确率和速度上的提升。

发明内容

本发明的目的是提供一种融合红外和可见光图像的目标检测方法，可以快速的对作业环境进行感知。

为了实现以上目的，本发明是通过以下技术方案实现的：

一种融合红外和可见光图像的目标检测方法，其特点是，包括如下步骤：

S1、将红外图像和可见光图像分别输入到密集卷积网络的输入通道，通过密集卷积网络对所述红外图像和可见光图像的特征进行提取；

S2、通过门控融合机制对红外图像的特征和可见光图像的特征进行全局特征融合得到融合后的特征图；

S3、采用CSP检测器对融合后的特征图进行目标检测。

步骤S2.1、采用门控融合机制进行图像融合，F_vi∈R^b×c×w×h和F_ir∈R^b×c×w×h分别代表可见光图像提取后的特征图和红外图像提取后特征图，对F_vi和F_ir进行通道维度上的连接操作，得到F_fusion∈R^b×2c×w×h，其中b、c、w、h分别代表图像数据的几个维度：批量大小、图像通道数、图像宽度、图像高度；