[发明专利]多特征信息融合的人群密度估计方法、设备及存储介质

说明书

本发明公开一种多特征信息融合的人群密度估计方法、设备及存储介质，具体步骤为，构建训练数据集，对训练数据集进行预处理；构建并训练多特征信息融合卷积神经网络，得到多特征信息融合的人群密度估计模型；所述多特征信息融合卷积神经网络分为上下两层，上层包括VGG16前10层，下层包括VGG16前10层后衔接的空间注意力透视网络、多尺度信息聚合网络、语义嵌入融合网络以及后端空洞卷积网络；使用多特征信息融合的人群密度估计模型对待检测数据集中的人群密度进行检测，输出最终的人群密度图；本发明提高了人群密度估计模型的准确度与鲁棒性，提升人群密度估计方法的性能，为人群密度估计算法在工业当中的实际部署落地做出有益尝试。

技术领域

本发明属于人群密度估计技术领域，具体涉及一种多特征信息融合的人群密度估计方法、设备及存储介质。

背景技术

随着国民经济迅猛发展及城市化进度不断加快，城市人口数量急剧增加，由此带来的社会问题也不断增加，群众因各种原因可能聚集在不同的场景下，易造成交通拥堵、人员踩踏等不安全事故的发生，因此人群密度估计在视频监控、公共安全、城市规划等诸多领域具有较高的应用价值。

基于检测的人群计数方法主要是通过类似滑动窗口探测器检测图像中人员全身或者诸如脸、头等局部位置，但此方法对遮挡较多人群，存在计算量大、精度较差等问题；MCNN通过多列CNN结构并行提取多尺度信息，解决一定程度上的视角变化问题，但多列结构每一列具有相似的学习功能，视角的变化使得多列卷积核大小难以适用一些视角情况；CSRNet利用单列卷积神经网络VGG-16，在网络后端添加空洞卷积以扩大感受野，同时缩减网络参数，但其对空间信息的提取以及深度特征的提取能力较差；CAN针对尺度信息获取困难的问题，通过学习每个特征对图像位置的重要性，结合多特征信息结果，从而获取尺度上下文信息，但其对稀疏和较复杂场景时，因背景干扰及特征提取能力的问题，会导致错误的预测。

由上述可知，上下文信息、多列结构为多尺度的学习提供了一种有效手段，在一定程度上可以解决视角变化问题，但上述方法仍无法解决视角变化导致的全局上下文信息提取能力差、特征融合不充分、及特征空间信息丢失等问题，导致网络最终估计精度低，效果差。

发明内容

为了解决现有技术中存在的问题，本发明提出了一种多特征信息融合的人群密度估计方法、设备及存储介质，该方法利用骨架网络输出结果得到高层语义信息，并通过空间注意力透视网络来聚合图像的空间全局上下文信息，同时通过多尺度非对称卷积与不同膨胀率的空洞卷积组合使提取到的语义信息与尺度信息表达能力更强；最后使用语义嵌入的方法，将空间信息引入表达更强的高层语义信息，将高层语义信息引入低层空间信息，增强特征表达，以获取高质量的密度图，更准确的预估人群人数。

为实现上述目的，本发明提供如下技术方案：一种多特征信息融合的人群密度估计方法，具体步骤如下：

S1构建训练数据集，对训练数据集进行预处理；

S2构建并训练多特征信息融合卷积神经网络，得到多特征信息融合的人群密度估计模型；所述多特征信息融合卷积神经网络分为上下两层，上层包括VGG16前10层，下层包括VGG16前10层后衔接的空间注意力透视网络、多尺度信息聚合网络、语义嵌入融合网络以及后端空洞卷积网络；

S3使用多特征信息融合的人群密度估计模型对待检测数据集中的人群密度进行检测，输出最终的人群密度图。

进一步的，步骤S2中，

1)构建多特征信息融合的人群密度估计网络，将基础骨架VGG16中的第二、三、十层的结果分别输出，生成一组不同分辨率的初始特征图；

2)将第十层的初始特征图输入多尺度信息聚合网络，多尺度信息聚合网络通过多尺度非对称卷积捕捉第十层的特征图的多尺度特征，通过不同膨胀率的空洞卷积扩大多尺度特征的群感受野，得到多尺度图像上下文信息F_M；