[发明专利]基于单模态增强的红外与可见光融合行人检测方法

权利要求书

1.一种基于单模态增强的红外与可见光融合行人检测方法，其特征在于，包括：

(1)对一个公开多模态数据集KAIST进行数据清洗，获得7601对训练图像，2252对测试图像；

(2)构建基于单模态增强的红外与可见光融合行人检测网络W：

(2a)在现有双路孪生网络FasterR-CNN结构上加入单模态训练分支，形成由双路特征提取分支T与R、区域生成网络RPN、两个ROI池化层、多尺度自适应融合网络P、分类与回归层级联构成的检测网络D；

(2b)搭建由三层上采样模块级联构成的生成约束网络GC，每层上采样模块由上采样层与卷积层构成；

(2c)在网络D的T、R分支特征融合处加入生成约束网络GC，构成基于单模态增强的红外与可见光融合行人检测网络W；

(3)根据检测网络D的损失L_d和生成约束网络GC的损失L_r构建损失函数Loss：

(3a)将红外图像输入(2a)中特征提取分支T获得红外特征，将可见光图像输入(2a)中特征提取分支R获得可见光特征，将获得的红外特征与可见光特征融合获得融合特征，同时，使用随机高斯噪声与红外特征融合，获得增强的红外特征，使用随即高斯噪声与可见光特征融合，获得增强可见光特征；

(3b)将(3a)中获得的融合特征、增强的红外特征、增强可见光特征分别进一步特征提取，并输入区域生成网络RPN、两个ROI池化层、多尺度自适应融合网络P，分类与回归层级，最终计算得到检测损失L_d；

(3c)将(3a)中获得的融合特征输入生成约束网络GC，计算得到生成约束损失L_r；

(3d)将(3b)中的检测损失L_d与(3c)中的生成约束损失L_r结合，即为网络W的总体损失Loss；

Loss＝γ₁×L_d+γ₂×L_r

其中，γ₁是损失L_d的权重参数，γ₂是损失L_r的权重参数；

(4)利用训练数据，采用随机梯度下降法对行人检测网络W进行训练，得到训练好的行人检测网络W′；

(5)将测试集中待检测的可见光和红外图像对输入到训练好的行人检测网络W′中，得到测试集行人目标检测结果。

2.根据权利要求1所述的方法，其特征在于，(2a)中得到的检测网络D，其各部分的参数结构如下：

所述双路特征提取分支T与R，其采用现有VGG-16网络作为网络结构，它具有五层下采样卷积组，T与R共享最后一层卷积组权重，并去掉这层卷积组中的最大池化层；

所述区域生成网络RPN，其由一个3×3卷积，两个并列的1×1卷积级联而成；

所述两个ROI池化层，其设定的输出尺度分别为512×14×14与512×7×7，分别代表为P₁，P₂；

所述的多尺度自适应融合网络P，包括两层并列的平均池化层AP₁与AP₂、第三层平均池化层AP₃、拼接层V、两层并列的全连接层f₁与f₂、激活函数层S、乘积层M、相加层J，其中AP₁与AP₂、V、f₁与f₂、S、M、J依次级联，同时AP₃与M连接；

所述分类与回归层，其为两个并列的全连接层，分类层输出大小为2，代表行人与背景；回归层输出大小为4，代表坐标信息。