[发明专利]基于多尺度感知注意力网络的人群计数方法及系统

说明书

本发明公开了基于多尺度感知注意力网络的人群计数方法及系统，对待处理的目标图像进行初级特征提取，得到目标图像的初级特征；对初级特征分别进行不同尺度的全局上下文信息提取，得到不同尺度的全局上下文信息；对初级特征进行全局平均池化操作，得到平均池化的全局上下文信息；对每个尺度的全局上下文信息，学习出每个尺度的注意力特征；基于每个尺度的注意力特征和该尺度的全局上下文信息，得到每个尺度的去噪后的上下文信息；将所有尺度的去噪后的上下文信息进行融合得到第一融合结果；将第一融合结果，再与平均池化的全局上下文信息进行融合，得到第二融合结果；对第二融合结果进行解码处理得到密度图，对密度图进行处理得到人群总数。

技术领域

本申请涉及计算机视觉技术领域，特别是涉及基于多尺度感知注意力网络的人群计数方法及系统。

背景技术

本部分的陈述仅仅是提到了与本申请相关的背景技术，并不必然构成现有技术。

人群计数对于视频监控、交通监测和现场理解等应用具有重要意义。特别是在火车站等限制严格的公共场所，据报道，由于这些地方过于拥挤，安全事故、交通延误甚至可怕的踩踏事件时有发生。为了将人群控制在合理的范围内，有必要对人群进行实时记录和监控。当人群超过最大承载量时，活动管理者可以采取适当措施限制人群进出或分流人群。然而，早期的人群统计工作主要依靠人力，速度慢、效率低。近来，随着计算机视觉技术的广泛应用，许多研究者尝试将计算机视觉应用于人群计数，来提高人群监管的效率，并取得了一定的成效。

人群计数的解决方案已经从检测个体逐步推进到生成密度图。通过对密度图进行整合，就可以得到该场景下的人群总数。虽然之前的方法取得了一定的成功，但仍然无法处理高度拥挤的复杂人群场景。最近，随着卷积神经网络(CNN)的广泛应用，许多基于CNN的方法与传统方法相比，在人群计数精度上有了显著的提升。但是，由于尺度变化、背景混淆、人群的大小和形状发生变化等问题，目前的方法仍然无法实现精确的人群计数。目前，人群尺度连续变化的问题仍是人群计数领域最棘手的问题之一。在拥挤的场景中，人群的尺度发生较大变化，但是准确捕捉较大范围的尺度变化是非常困难的，以至于无法对人群场景的尺度变化进行有效编码，导致最终计数精度较差。

近来，为了解决尺度连续变化的问题，大多数方法采用多尺度上下文信息融合的方式。例如MCNN是一种采用多分支CNN架构的人群计数方法，每个分支使用不同大小的卷积核进行特征提取。最后，将不同分支上的特征进行融合，来捕捉图像上的多尺度上下文信息。CrowdNet将浅层网络和深层网络结合在不同列，其中浅层网络捕捉对应大尺度变化的低层特征，深层网络捕捉高层语义信息，最终通过融合来解决密集人群的尺度变化问题。虽然这些方法可能对于处理密集人群的尺度变化是有用的，但它们忽略了局部上下文信息和全局上下文依赖性之间的差异性。因为场景中的局部上下文信息可以提供局部线索，以确定场景中是否存在人群区域信息，从而增强人群的区域特征表示。然而，上述方法不能准确地捕捉局部上下文信息，使得它们可能不足以在复杂环境中进行准确的人群计数。因此，现有方法的计数结果存在较大的误差。

发明内容

为了解决现有技术的不足，本申请提供了基于多尺度感知注意力网络的人群计数方法及系统；针对目前人群计数中较为棘手的尺度变化问题，本发明从多尺度特征提取以及注意力机制引导两个方面入手，研究一种基于多尺度感知注意力网络的人群计数方法，通过引入不同空洞率的空洞卷积，以不同大小的感受野来有效应对人群尺度连续变化的问题。此外引入一种维度注意力机制，通过跨通道捕捉不同维度之间的依赖关系，自适应地将局部上下文信息与全局上下文依赖关系整合起来，来增加多尺度融合的有效性。最终来实现更精确的人群计数。

第一方面，本申请提供了基于多尺度感知注意力网络的人群计数方法；

基于多尺度感知注意力网络的人群计数方法，包括：

获取待处理的目标图像；

对待处理的目标图像进行初级特征提取，得到目标图像的初级特征；