[发明专利]基于密度信息的人群计数方法、装置、设备以及介质

说明书

本公开公开了一种基于密度信息的人群计数方法、装置、设备以及介质，包括将带有人头位置标注的图像数据集经过预处理得到训练样本集，将待测试图像分别输入至基于目标检测的卷积神经网络和基于密度回归的卷积神经网络中，得到基于目标检测的密度图和基于密度回归的密度图；将基于目标检测的密度图和基于密度回归的密度图进行密度图融合，得到目标估计密度图；对目标估计密度图进行积分计算得到待测试图像中的人数。通过卷积神经网络，融合了基于目标检测人群计数方法的密度图和基于密度回归的密度图，有效的互补了基于检测造成的拥挤地区则会降低其可靠性和基于回归的方法在不知道每个人的位置的情况下倾向于过高地估计低密度的计数的现象。

技术领域

本公开涉及计算机视觉技术领域，特别是涉及一种基于密度信息的人群计数方法、装置、设备以及介质。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

随着社会的进步和经济的发展，一些公共场所的人群聚集先现象的发生越来越频繁，大规模的群众集会在群众游行、大型活动、热门比赛和举行演唱会中司空见惯。但是由于这些人群聚集的发生，有可能会发生严重的人群骚乱和踩踏事故，为了能够更好的保护聚集人群的安全，人群统计愈发的重要起来。所谓的人群统计，就是将人群图像通过特定的映射方式映射成相应的密度图，这种技术，在监控越来越普及的今天会对人群聚集的可控性做出至关重要的作用

随着计算机的普及，基于计算机视觉的人群计数的方法越来越多。传统的人群计数的方法包括基于检测的方法和基于回归的方法。其中关于基于检测的方法主要分为两大类，第一种是基于整体的检测，基于整体的检测方法主要是通过训练一个分类器，利用个人的边缘等特征去检测行人。第二种是基于部分身体的检测，基于部分身体的检测方法，主要通过检测身体的部分结构，例如头，胳膊等去统计输入图片的人群数量。关于基于回归的方法，主要思想是通过学习一种特征到人群数量的映射，首先提取低级的特征，例如边缘特征，纹理等；接下来是学习一个回归模型，例如线性回归高斯回归等方法学习一个低级特征到人群数量的映射关系。随着深度学习技术的发展，不同于传统的基于检测和回归的方法，深度学习凭借其出色的特征学习能力，被越来越多的应用到人群计数中来，主要是通过运用不同的卷积神经网络来实现提取不同尺度的特征。

但是基于检测的计数方法在低密度场景下可以准确估计人群，而在拥挤地区则会降低其可靠性。而基于回归的方法可以捕捉拥挤区域的一般密度信息。在不知道每个人的位置的情况下，它倾向于过高地估计低密度的计数。以及现有的基于深度学习的人群计数方法没有能够充分考虑到人群图像中全局密度变化，并且卷积神经网络中一般还会带有池化层，在池化层的池化过程中会损失细节特征，造成一些误差。

综上，现有的基于检测的计数方法在低密度场景下可以准确估计人群，而在拥挤地区则会降低其可靠性。而基于回归的方法可以捕捉拥挤区域的一般密度信息，但在不知道每个人的位置的情况下，它倾向于过高地估计低密度的计数。以及现有的基于深度学习的人群计数方法没有能够充分考虑到人群图像中全局密度变化造成一些误差。

发明内容

为了解决上述问题，本公开提出了一种基于密度信息的人群计数方法、装置、设备以及介质，结合基于目标检测的人群计数方法和基于密度回归的人群计数方法，通过卷积神经网络，融合了基于目标检测的密度图和基于密度回归的密度图，有效的互补了基于检测造成的拥挤地区则会降低其可靠性和基于回归的方法在不知道每个人的位置的情况下倾向于过高地估计低密度的计数的现象，能够适用于密度信息复杂多样的场景。

为了实现上述目的，本公开采用如下技术方案：

第一方面，本公开提供一种基于密度信息的人群计数方法，包括：

将带有人头位置标注的图像数据集经过预处理得到训练样本集，以此对基于密度信息的卷积神经网络进行训练；所述基于密度信息的卷积神经网络包括基于目标检测的卷积神经网络和基于密度回归的卷积神经网络；