[发明专利]注意力机制与深度学习相结合的红外行人检测方法、系统

说明书

本发明属于深度学习目标检测技术领域，具体涉及一种注意力机制与深度学习相结合的红外行人检测方法、系统。本注意力机制与深度学习相结合的红外行人检测方法包括：构建图像数据集；基于图像数据集提取先验框；构造深度卷积神经网络；其中所述深度卷积神经网络包括：主干部分，用于提取图像数据集的特征；脖颈部分，适于提取和融合有效特征；以及检测头部分，用于判断检测目标出现在先验框中的概率，将注意力机制与卷积神经网络相结合，可以提高低光照场景下行人的检出率。

技术领域

本发明属于深度学习目标检测技术领域，具体涉及一种注意力机制与深度学习相结合的红外行人检测方法、系统。

背景技术

深度学习在目标检测领域已有应用，但低光照强度下的行人图像特征难以识别，需要利用很多层次的网络来提取行人的图像特征，从而产生过多的无效或影响很小的特征参数，导致行人检测准确率下降。

发明内容

本发明提供了一种注意力机制与深度学习相结合的红外行人检测方法、系统，以解决低光照场景下行人检测准确率下降的难题。

为了解决上述技术问题，第一方面，本发明提供了一种红外行人检测方法，包括：构建图像数据集；基于图像数据集提取先验框；构造深度卷积神经网络；其中所述深度卷积神经网络包括：主干部分，用于提取图像数据集的特征；脖颈部分，适于提取和融合有效特征；以及检测头部分，用于判断检测目标出现在先验框中的概率。

进一步，所述脖颈部分包括SE block结构和特征金字塔网络结构；其中所述SEblock结构包括：压缩操作、激励扩大操作；所述压缩操作通过全局平均池化将二维的特征转换为代表全局的实数特征；所述压缩操作表示为：

式(1)中，压缩操作的数学表达式，是主干网络传来的第k个二维特征层，h、w分别是二维特征层的高和宽；所述激励扩大操作通过全连接层和Sigmoid层得出特征的权重系数，再将得到的权重系数加权至主干网络传来的特征层中，以提取有效特征；所述激励扩大操作分为激励操作和扩大操作，所述激励操作表示为：

式(2)中，激励操作的数学表达式，是全连接层的操作函数，是Sigmoid层的操作函数，是经过压缩操作后传来的特征层；所述扩大操作表示为：

式(3)中，扩大操作的数学表达式，是主干网络传来的特征层，是经过激励操作后传来的特征层；所述特征金字塔网络结构对每个融合层进行独立的预测并将从深层网络提取的特征与从浅层网络中提取的特征相结合。

进一步，所述检测头部分包括3×3和1×1卷积模块，以通过在网络中分类和回归从而判断检测目标出现在先验框中的概率。

进一步，所述主干部分包括以第26层、43层、52层三个有效特征层为基础构建的残差卷积网络；所述残差卷积网络的残差卷积包括前残差部分和残差部分，其中残差部分由1×1和3×3卷积模块组成；所述卷积模块由卷积层、BN层和LeakyReLU组合形成；所述BN层对图像数据集的特征进行规范化，用于防止中间层的数据突然变化；所述LeakyReLU层用于优化各层间的梯度，其函数表达式可以表示为：

式(4)中，k_i是负x轴上直线斜率的倒数。

进一步，所述构建图像数据集包括：采集图像；处理数据集，即将采集到的图像作为数据集并进行数据增强操作；分类数据集，即将数据集类别划分为训练集、验证集和测试集；以及标注数据，即对数据集中的图像进行标注。

进一步，所述采集图像包括：使用红外相机对包含检测目标的多场景图片进行拍摄；所述处理数据集包括：通过放缩操作、旋转操作，再将图像转换格式，以进行正态分布标准化，实现数据集的扩充增强；所述标注数据包括：设置标注格式和标注类型；将包含检测目标的像素区域进行框选，得到检测目标的标注信息；其中所述标注信息包括检测目标所处的位置、检测目标的大小；所述训练集、验证集和测试集中的图像数量按照8：1：1的比例随机划分；所述放缩操作的数学表达式为：