[发明专利]一种基于对抗学习网络的尺度自适应密集人群计数方法

说明书

本发明提供了一种基于对抗学习网络的尺度自适应密集人群计数方法。密集人群计数普遍存在两大难题：一是对象的尺度变化大；二是可使用的数据集的规模小。为了解决这两个难题，本发明提出了以下技术方案：首先，构建对抗学习网络ASANet，使密集人群计数与目标检测形成博弈关系；然后，输入图像经过多层次的特征融合模块和多尺度的膨胀卷积模块后，提取出多层次多尺度的特征，再经过上采样层输出预测密度图，同时由回归器输出目标检测框；然后，基于预测密度图，联合使用归一化的欧几里得距离损失函数和对抗损失函数对网络ASANet进行训练，同时基于目标检测框，使用Focal损失函数对网络ASANet进行训练。实验结果表明，本发明方法能够有效地进行密集人群计数。

技术领域

本发明涉及一种计算机视觉技术领域的密集人群计数方法，具体涉及一种基于对抗学习网络的尺度自适应密集人群计数方法。

背景技术

密集人群计数旨在自动估计图像或视频中的人数。近年来，随着密集人群计数任务中的人群密度不断增大且场景复杂化，大量的密集人群计数方法涌现出来。密集人群计数可以应用在很多实际任务中，比如人流量监测、交通管控和空间设计等，所以人群计数任务具有很大的研究价值。

现有的密集人群计数方法分为传统方法和深度学习方法，传统方法包括基于检测的方法和基于回归的方法。基于检测的人群计数方法大多采用滑动窗口来检测行人并计数，它们通常是利用从行人身上提取到的小波、HOG、边缘等低级特征来检测行人。但基于检测的方法仅在稀疏人群场景中取得了较好的效果，根本无法处理密集人群场景。因为密集人群场景中存在着严重的遮挡现象，所以无法通过滑动窗口检测到行人的整体特征。虽然前人提出了具有低阈值的头部滤波器，可以通过检测图像中的人头来检测行人，从而减轻了人群遮挡对人群计数任务造成的影响，但基于检测的方法始终依赖于对物体的准确检测和分割，所以此算法仍然无法应对高密度人群场景中存在的严重的遮挡现象。基于回归的人群计数方法的中心思想是建立一种从特征到人群数量的映射关系，其实现步骤分为两步：(1)从图像中提取有效的低级特征，比如边缘、前景、纹理等特征。(2)根据提取到的低级特征，通过回归模型计算人群数量。基于回归的方法虽然可以解决密集场景，但忽略了对象的位置信息。

深度学习方法包括基于卷积神经网络(CNN)的方法，由于CNN被成功地应用于分类和识别任务中，所以近年来CNN被引入密集人群计数领域，其对非线性关系有着强大的学习能力，因此非常适合于密集人群计数。目前，针对单帧图像的密集人群计数仍存在两大研究难点：一是图像中存在较大范围的尺度变化，对特征提取造成了极大的困难；二是可使用的密集人群计数数据集的规模太小，导致训练得到的模型通常只适应特定场景。

发明内容

本发明的目的是为了解决密集人群计数中对象的尺度变化和训练样本少的问题。本发明提出的多层次特征融合模块和多尺度膨胀卷积模块，通过融合多层次多尺度的特征图，解决了尺度变化的问题，同时提出的对抗学习模型利用博弈思想，引入目标检测，与密集人群计数形成对抗学习结构，从而解决了训练样本少的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种基于对抗学习网络的尺度自适应密集人群计数方法，包括以下步骤：

(1)通过构建对抗学习网络ASANet，密集人群计数与目标检测形成博弈关系，两者在训练过程中自动更新进化；

(2)将密集人群计数的RGB图像输入密集人群计数分支的特征提取器，输出多层次多尺度的特征图，再经过四倍上采样，输出高质量的预测密度图，同时将目标检测的RGB图像输入目标检测分支的特征提取器，输出多层次多尺度的特征图，再经过回归器，输出目标检测框坐标；

(3)将密集人群计数和目标检测的RGB图像同时输入共享分支的特征提取器，输出两个多层次多尺度的特征图，再由鉴别器鉴别两个特征图是源于密集人群计数还是目标检测的图像；