[发明专利]基于单模态增强的红外与可见光融合行人检测方法

说明书

本发明公开了一种基于单模态增强的红外与可见光融合行人检测方法，主要解决现有方法中单模态特征提取支路对特征表达能力差的问题。其方案为：1)对现有公开KAIST数据集进行筛选与处理，获得处理后的训练集与测试集；2)构建基于单模态增强的红外与可见光融合行人检测网络W；3)构建行人检测网络W的总体损失Loss；4)用训练集对基于单模态增强的红外与可见光融合行人检测网络W进行训练，通过损失Loss更新网络W中的参数，得到训练好的行人检测网络W′；5)将测试集的图像输入到训练好的行人检测网络W′，得到最终检测结果。本发明提高了行人目标的检测精度与检测速度，可用于无人驾驶，视频跟踪。

技术领域

本发明属于图像处理技术领域，特别涉及一种行人目标检测方法，可用于无人驾驶以及视频跟踪。

背景技术

红外与可见光图像在图像处理领域收到了越来越多的关注，通过红外成像传感器与可见光成像传感器在同一时刻进行图像采集来获取图像对数据。采用红外与可见光融合的方式相比单纯的可见光，可以有效的利用红外在黑夜中优势。红外是对热辐射的捕捉，所以在黑夜中能够有效地捕捉热物体。环境由于散发的热辐射远比热物体要少，所以红外图像对热物体还有强调的作用，同时可抑制环境。可见光拥有丰富的纹理信息，而红外捕捉的热辐射是一个整体的轮廓，因此无法对目标的细节进行很好的描述。所以将红外与可见光融合可以弥补红外在纹理上的不足，这种可见光与红外互相弥补对方的不足的效果，能更好地反映目标的信息，因而被应用到了多个领域，尤其应用于目标检测领域中。

基于红外与可见光融合的目标检测算法已广泛应用于无人驾驶防碰撞系统以及视频跟踪等领域，尤其是无人驾驶中对行人安全性的检测更是备受关注。Liu等人研究了在目标检测网络Faster R-CNN的不同深度特征层上进行融合对最终检测的影响。他们证明了使用Halfway融合的方式能够很好的权衡特征深度与目标尺度之间的互斥关系。Zhang等人研究了数据集中出现的红外与可见光图像对未对齐问题，并使用一个区域特征对齐模块RFA来对图像进行局部平移，缓解由于图像对未对齐导致的问题。Zhou等人对多模态数据中存在的模态不平衡问题进行了研究，并提出了模态平衡网络MB-Net来对模态不平衡等问题进行处理。

上述这些现有方法虽然利用了红外与可见光的优势，但是它们的不足之处在于只关注了融合的特征，而由于没有对单模态特征进行关注，因而导致了在单模态特征提取时，单模态分支上没有显式的监督信息，使得单模态提取的特征表征能力弱。对于基于多模态融合的目标检测，首先融合特征来源于单模态，只有单模态表征能力强，才能获得鲁棒的融合特征表示。同时较弱的表征能力将降低困难样本的识别能力，导致网络受到严重漏检的问题。同时，对于那些与行人较为相似的目标，弱表征能力的特征容易将这些背景检测为前景，使得网络检测的虚警率增大，因而有一个表征能力强的单模态特征显得尤为重要。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于单模态增强的红外与可见光融合行人检测方法，以增强单模态特征的表征能力，减小网络检测的漏检率及虚警率，提高网络的行人检测能力和检测速度。

本发明的技术方案是：利用单模态增强的网络框架以及生成约束的网络训练策略，配合多尺度自适应融合的模块，提升目标检测性能，其实现包括如下：

(1)对一个公开多模态数据集KAIST进行数据清洗，获得7601对训练图像，2252对测试图像；

(2)构建基于单模态增强的红外与可见光融合行人检测网络W：

(2a)在现有双路孪生网络Faster R-CNN结构上加入单模态训练分支，形成由双路特征提取分支T与R、区域生成网络RPN、两个ROI池化层、多尺度自适应融合网络P、分类与回归层级联构成的检测网络D；

(2b)搭建由三层上采样模块级联构成的生成约束网络GC，每层上采样模块由上采样层与卷积层构成；