[发明专利]基于空间感知的注意力细化框架的人群计数方法及系统

说明书

本发明公开了一种基于空间感知的注意力细化框架的人群计数方法及系统，该方法包括：利用卷积神经网络产生所有训练图像的特征图、初始人群密度图及密度等级信息；将上述信息输入至可迭代的空间感知细化模块，利用空间回归映射网络以空间感知的方式对人群密度图动态定域，生成矫正后的局部密度图，并结合长短期记忆模块为下一次迭代的动态定域更新策略；对密度等级信息进行编码生成密度等级图，整合局部密度图与密度等级图，分别作为每轮迭代的局部与全局信息，输入到局部细化网络；局部细化网络调整输入区域的密度分布，对其施以逆向空间回归映射，并以残差学习方式更新生成人群密度图；多次迭代式地进行前述训练过程，获得精细化后的人群密度图。

技术领域

本发明涉及基于深度学习的计算机视觉领域，特别是涉及一种基于空间感知的注意力细化框架的人群计数方法及系统。

背景技术

人群计数问题旨在对场景中人群的数量及区域密度进行分析。近年来，由于深度学习方法在计算机视觉领域大放异彩，在数据和算法的共同推动下，人群计数问题凭借其广泛的应用前景及学科探索性，吸引了越来越多研究者的关注。

早年的许多方法大多是基于行人检测的框架，通过先检测后计数的思想完成人群计数任务，这类方法一般通过分析行人外观轮廓与运动定式或是提取图像多个单元区域的纹理特征(如LBP，HoG等)，结合分类器(如SVM，Adaboost等)或概率统计的方法实现人数统计。如F.Wang等人在2010年的研究工作“Robust and efficient fragments-basedtracking using mean shift(IJEC)”。然而，该类方法难以适用于人群稠密场景下的分析。

而近年来，许多研究人员逐步开始将深度学习技术运用到人群计数任务中，而基于深度学习的方法大大改善了严重遮挡和高聚集现象带来的问题。如Sam等人于2017年的研究工作“Switching Convolutional Neural Network for Crowd Counting(CVPR)”以及Sindagi等人于同年发表的研究工作“Generating High-Quality Crowd Density MapsUsing Contextual Pyramid CNNs(ICCV)”

现有的大多数深度模型的成功源于它们正确处理了不同图片中因不同尺度的行人带来的不利影响或是通过划分区域对局部人流密集度能进行有效建模。然而，这些方法无一例外的是通过暴力枚举不同感受野大小的卷积核用以处理整幅图像或多个区域，最后整合每个子网络的结果。然而，受限于硬件资源和计算资源，这些方法无法做到穷尽所有场景；最重要的是，这些方法在设计网络结构时完全忽视了因不同场景中相机视点的不同所造成的透视扭曲现象——透视扭曲带来的人群尺度的极大差异以及面内外的位姿变形是人群计数面临的最根本的挑战。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种基于空间感知的注意力细化框架的人群计数方法及系统，其通过反复审视自身提取的高层抽象特征和全局密度等级信息，自适应地对初始输入的人群密度图的局部区域做选择，然后以残差学习的方式对其进行反复细化。在每一次选择时，结构中的空间变换模块能自适应地根据场景的拥挤程度，对关注的区域进行透视纠正。

为达上述及其它目的，本发明提出一种基于空间感知的注意力细化框架的人群计数方法，包括如下步骤：

步骤S1，利用卷积神经网络产生所有训练图像的特征图初始人群密度图M₀及密度等级信息g；

步骤S2，将步骤S1产生的特征图初始人群密度图M₀及密度等级信息g输入至一个可迭代的空间感知细化模块，利用空间回归映射网络以空间感知的方式对人群密度图动态定域，生成矫正后的局部密度图并结合长短期记忆模块负责为下一次迭代的动态定域更新策略；

步骤S3，对密度等级信息g进行编码以生成密度等级图整合局部密度图与密度等级图分别作为每轮迭代的局部与全局信息，输入到下游的局部细化网络；