[发明专利]一种基于多尺度特征金字塔网络及密集人群计数方法

说明书

本发明公开了一种基于多尺度特征金字塔网络及密集人群计数方法，目的在于解决复杂拥挤场景中密度图估计和人群计数问题，本发明利用特征提取模块对人群图像进行特征提取；利用特征金字塔融合模块有效捕获人群图像中多尺度上下文信息，进一步获取更好的特征表达；利用特征注意力感知模块聚焦人群图像中高密度位置，降低背景干扰；使用双线性差值将图像恢复到原始尺寸；输出预测密度图并统计人头数量，有效解决了密集场景中由于人头尺度变化较大、人群遮挡严重、光照条件差造成人群计数困难的问题，并且提高了模型对于噪声的鲁棒性，能够实现人群精确计数以及密度图的高质量预测，由于本发明利用分组卷积模块，因此具有较快的推理速度。

技术领域

本发明属于图像处理领域，具体涉及一种基于多尺度特征金字塔网络及密集人群计数方法。

背景技术

密集人群分析在视频监控、交通疏导、公共安全防控以及智能环境设计等方面具有重要的应用价值。常见的密集人群分析任务主要包括人群计数、人群图像分割、人群检测及跟踪、人群行为识别和定位等方面。其中，人群计数是密集人群分析领域的一项基本任务。但是现实场景中，仍然存在因为拍摄视角及距离不同而导致图像中人头尺度变化较大的问题；此外拥挤场景中也存在背景变化复杂、人体严重遮挡等问题。这些问题对当前的人群计数模型的提出具有很大的挑战。当前的计数模型主要分为基于回归、基于检测以及基于密度图估计。

传统人群计数问题主要涉及基于回归和基于检测的方法。基于检测的方法是通过动态框检测器检测行人头部或外观形态的方式来计算人数。这些方法在稀疏场景下卓有成效，然而在人体严重遮挡以及背景复杂的场景下表现不佳。基于回归的方法是通过学习图像浅层特征与人群数量之间的映射关系，构造回归模型进行计数，如高斯混合回归、线性回归等。尽管这些基于回归的方法可以处理复杂场景下的密集人群计数问题，但是依赖于图像中的底层信息，忽略了图像空间位置的相关性，导致模型泛化能力和准确性较差。

随着社会经济和城市化的发展，人群聚集性活动日益频繁，单一的人群计数不能满足我们应对拥挤复杂场景问题的需求。因为计数仅侧重于整体情况的表示，密度图不仅能通过对整个图像的积分来预估人数而且能精细化局部位置的分布。因此，人群计数任务已经从简单的计数发展到能够代表复杂人群分布特征的密度图预测。由于传统基于密度图估计的方法依赖于手动提取的低级特征信息，对于具有高密度分布的场景准确性较低。随着深度学习在计算机视觉中的飞速发展，全卷积神经网络(Fully Convolutional NeuralNetwork，FCN)被广泛应用于像素级分类，因此，这一类模型也被拓展到密集人群分析领域。基于全卷积神经网络的人群密度图估计的方法可大致分为多列及单列模型。针对密集人群计数，相关技术公开了一种面向密集人群计数的多列卷积神经网络(Multi-columnConvolutional Neural Network,MCNN)，该网络利用三列不同大小的卷积核(3×3,5×5,7×7)来提取图像中多尺度人头特征信息，然后将多尺度特征图直接进行拼接融合。最后，使用1×1卷积核进行解码得到预测密度图。由于该网络使用不同尺度的卷积核以获得丰富的感受野，进而实现了更为精确的人群密度估计。然而当网络较深时，臃肿的多列网络结构会导致参数和计算量的增加，使模型的复杂度变高。另外，将多尺度信息直接融合而不加甄别会导致信息冗余，模型对于背景噪声鲁棒性较差。

单列结构通常具有更深的网络分层，这种结构在不增加网络复杂性的同时可以提升特征表达能力。为了更有效的提取图像中的多尺度信息，研究者们提出利用级联小尺寸膨胀卷积来扩大感受野，相关技术还公开了一种空间全卷积网络(Spatial FullyConvolutional Network,SFCN)，该网络使用膨胀率为2的膨胀卷积和空间编码器来整合全局上下文信息，膨胀卷积在不增加参数的情况下可以扩大感受野以提取多尺度特征，空间编码器考虑图像中局部位置之间的相关性以获得更好的特征表达。该方法能有效提升密度图预测任务的精度，然而该网络仅使用常规的卷积核进行卷积，因此不能更有效提取到丰富的多尺度特征，而没有考虑通道与空间之间的相互依赖性导致模型抗干扰能力差。