[发明专利]一种新的人群计数方法

说明书

本发明给出了一种新的人群计数方法。首先，用VGG19的前16层作为骨干网提取浅层特征，再在特征提取模块采用双分支结构，分支1采用融合自注意力机制的金字塔结构，通过金字塔结构生成特征图送入过渡残差块生成分支1的特征图，分支2使用双通道注意力模块，将分支1、2得到的特征图送入过渡残差块进行拼接融合，将融合后的特征图送入过渡模块生成最终的特征图，最后将最终的特征图送入1×1卷积生成密度图。本发明在模型训练时使用联合损失函数以最小化离群点对于整个模型的影响；本发明的分支1可以准确的定位不同尺度的目标，描绘特征图中任意两个位置之间的空间依赖性；本发明的分支2可以关注人群中的重要特征因此可实现优异的人群计数性能。

技术领域：

本发明涉及图像处理技术，具体来讲，涉及一种基于双分支中间特征提取且加入联合损失函数的人群计数方法。

技术背景：

近几年，随着计算机视觉领域的蓬勃发展，有关深度学习中人群计数领域也取得了很大的进展，许多具有更高精度的人群计数方法也相继出现。传统的人群计数主要分为两大类：基于检测的方法和基于回归的方法。现有行人检测方法有三种，分别为基于全局特征的方法、基于人体部位的方法、基于立体视觉的方法。基于检测的人群计数方法只有在行人较少时，且图像中行人较明显时，效果较好，但是日常一些公共场所特别是节假日时人们往往聚集在一起，形成高密度人群，这里的基于检测的人群计数方法就不适用。

基于回归的方法，主要思想是通过学习一种特征到人群数量的映射。这类方法步骤主要分为两步，第一步提取低级的特征，例如前景特征，边缘特征，纹理和梯度特征；第二步是学习一个回归模型，例如线性回归，分段线性回归，岭回归和高斯过程回归等方法学习一个低级特征到人群数的映射关系。基于回归又分为基于单一特征的回归方法和基于多特征回归方法，但是于单一特征的回归方法在高人群密度场景下无法提供可靠的人群计数结果且鲁棒性不高。基于多特征回归的人群计数方法虽然在一定程度上获得了更精确的更有效率的人群计数值但仍然未解决在高人群密度场景下进行人群计数。

以往传统的人群计数方法放到现在大多已经不适用了，究其原因是检测精度低且鲁棒性不高，现在许多学者更倾向于研究深度学习驱动的人群计数方法。输入图片，通过卷积神经网络提取人的头部特征，生成人群密度图，并通过密度图积分得出图片中的人群总数，这就是基于深度学习的人群计数的简要流程。目前深度学习驱动的人群计数方法已取得大量的研究成果，许多研究者在有关人群计数的网络模型、损失函数以及数据集上不停的改进使得人群计数的模型精度不断提高。目标遮挡、人头尺度差异大，背景环境复杂等一直以来是人群计数研究面临的难题。为了解决这些难题，研究人员不断优化人群计数的网络模型，所以多尺度特征提取以及丰富的上下文联系的研究成了人群计数的研究重点。

发明内容：

本发明的目的在于解决人群计数人头尺度不一且背景环境复杂等问题，使用不同场景、不同光线、不同密度的人群数据集，通过深度学习网络直接预测密度图，并对密度图进行积分得出最终的人群数量。通过上述方法可得出真实场景下的密度图并得到优异的人群计数结果。

为了实现上述目的，本发明提供一种基于双分支中间特征提取与加入联合损失函数的人群计数方法，其中主要包括五个部分：第一部分是对数据集进行预处理；第二部分是对数据集图像进行特征提取与融合；第三部分是对融合后的特征张量生成密度图；第四部分是对密度图进行积分得到人群数量；第五部分是网络训练与测试，得出最终的密度图。

第一部分包括两个步骤：

步骤1，首先下载人群计数ShanghaiTech PartB，UCF-QNRF，UCF-CC50数据集，其中标签格式均为.mat,mat文件里面记录了每个注释人头的二维坐标和总人头数量,根据数据集里的标注生成真值密度图，首先构造一个和原始图片大小相同的矩阵，并将其全部置0，然后将每个被标记的人头对应的位置置1，这样就得到了一个只有0和1的矩阵，最后通过高斯核函数进行卷积得到一个连续的密度图；