[发明专利]一种基于注意力机制的遮挡行人检测方法

说明书

本发明属于深度学习、目标检测领域，涉及一种基于注意力机制的遮挡行人检测方法。通过本发明构建一个新型的基于注意力机制与遮挡处理的行人检测器SKGNet，将轻量级的选择性核与空间分组增强注意力模块SKG嵌入到ResNet‑101网络的标准残差块中，构建出高效的特征提取骨干网络SKGNet‑101，有助于网络提取到更关键的特征信息，并提高特征图的表达能力。并且针对拥挤场景中的行人遮挡情况，提出了一个掩膜调制模块，以提高遮挡行人的检测性能。通过掩膜模块调制后的特征可以帮助后续的分类网络以更高的置信度检测部分或严重遮挡的行人，否则可能会被忽略而检测失败。

技术领域

本发明属于深度学习、目标检测领域，涉及一种基于注意力机制的遮挡行人检测方法，用于解决拥挤场景下行人检测问题。

背景技术

行人检测作为目标检测的一个重要应用分支，在智能汽车驾驶、智能视频监控、人机交互等诸多应用场景中发挥着至关重要的作用，与人类生活息息相关，具有极其重要的研究价值。近年来，随着深度学习的发展，大量方法开始基于深度卷积神经网络(CNN)构建模型用于行人检测任务。虽然目前这些行人检测方法已取得了较大进展，但它们的检测性能仍远低于人类的预期。

通常情况下，实际检测场景中的行人所处环境十分复杂，如背景混乱、尺度变化以及遮挡情况，这些复杂条件给行人检测任务带来了极大挑战。传统基于深度神经网络的方法通常利用CNN提取目标的高级语义特征以便检测行人。但是，由于CNN无法自适应地关注和突出特征图的关键通道和特定空间位置，难以区分所有输入特征，并且卷积通常被应用在局部图像上获得局部信息，无法提取图像的全局信息，这种方法的性能较差。近年来，注意力机制开始应用到行人检测任务中，注意力机制使得行人检测器在提取特征的同时能够自适应地突出关键特征通道和空间位置。因此，将注意力机制与主流行人检测框架结合起来是解决上述局限性的一个有效方法。

除此之外，遮挡问题也是行人检测领域中一个常见且棘手的挑战。在拥挤场景下，行人极可能会被邻近其他行人或物体遮挡。尽管最近的行人检测方法在无遮挡或少遮挡的条件下取得了一定的研究进展，但在严重遮挡条件下的性能依然亟待提升。基于全局检测的方法通常采用整体检测策略，使用全身标签进行训练，假设行人完全可见。然而，由于遮挡情况下行人的部分身体区域是不可见的，基于这种方法的行人检测模型的辨别能力严重受限。不同于全局检测的方法，基于局部检测的方法则采用局部检测的策略来解决遮挡问题，通过训练一个集成模型来学习一组局部检测器，其中每个局部检测器都用来处理一类特定的遮挡(全身遮挡、上下身体遮挡或者左右身体遮挡)。然而，这类方法由于需要部署大量的局部检测器且依赖于这些局部检测器的联合学习，计算成本很高且训练复杂，难以实现。最近一些基于遮挡处理的行人检测方法尝试利用行人可见身体信息回归可见部分区域用以生成预测，或者将可见信息作为外部监督来学习特定遮挡类别，可以为遮挡检测问题的解决带来较大启发。

发明内容

基于上面提到的传统深度神经网络不利于提取特征以及拥挤遮挡情况下行人检测的局限，本发明提出了一种基于注意力机制的遮挡行人检测方法。通过本发明方法，构建了一个新型的基于注意力机制与遮挡处理的行人检测器SKGNet，将轻量级的动态核选择与空间分组增强注意力模块SKG嵌入到ResNet-101网络的标准残差块中，构建出高效的特征提取骨干网络SKGNet-101，有助于网络提取到更关键的特征信息，提高特征图的表达能力。同时，针对拥挤场景中的行人遮挡情况，提出了一个掩膜调制(MG)模块，以提高遮挡行人的检测性能。该模块利用行人可见身体信息生成生像素级的空间掩膜来进一步细化提取到的全身特征，即在突出行人可见身体部分的同时，抑制其被遮挡部分，从而提升网络的检测性能。通过MG模块细化后的特征可以帮助后续的分类网络更精确地检测部分或严重遮挡的行人，否则可能会被忽略而检测失败。

本发明主要包括特征提取和检测分支两部分：