[发明专利]基于视频图像的人群计数方法

说明书

本发明提供一种基于视频图像的人群计数方法。本发明方法输入数据为连续视频帧图像，通过对采集的连续视频帧与给定的背景图像做像素减法分离冗余信息得到预处理后的输入图像；将经过预处理的图像输入基于密度分类的编码‑解码网络模型中，使用主干网络提取多尺度特征，并对其进行特征融合用于密度回归给出权重；同时利用提取的多尺度特征上采样得到对应的密度估计图，最终实现不同尺度特征对应的密度图加权得到最终密度估计图。本发明提出的方法针对视频图像的人群计数，在一定程度上利用了行人间的相似性，并利用了冗余信息的过滤，不仅可以得到实时的行人计数，并且能够实时地保留背景图片。

技术领域

本发明属于计算机视觉中的人群图像处理领域，具体来说是一种涉及图像中的人群计数以及行人背景分割的方法。

背景技术

人群计数，是对图像或是视频图像序列中的行人进行数量统计。在现实生活中，有效的行人计数在安全管控、区域规划、行为分析等领域有着重要的意义，比如在防止踩踏、交通线路设计、广告位投放、建筑选址等方面提供一定的数据支撑。

目前的行人计数方法主要可以分为三大类：早期的基于检测的方式、基于回归的方式以及如今密度图回归的方式。基于检测的方式是通过一个滑动窗口，并利用边缘等特征进行行人的检测，此类方法受限于行人遮挡，适用于目标较为分散的场合。基于回归的方法在一定程度上提高了遮挡人群中的计数准确度，但是并不能很好地得到行人分布的空间信息。

随着计算机视觉领域的不断发展，行人计数开始转向了密度图回归的方法。相较于上述两种方法，利用密度图回归的方式能够在处理遮挡问题的同时给出了行人的分布情况，从而获得具体的空间分布信息。

如今，行人计数依旧保留着大量计算机视觉领域所共有的问题。例如，视角变换所带来的透视问题使得人群在不同尺度下的检测变得更加困难。现有的计数方法大多采用了深度学习提取多尺度特征的形式，其优势在于利用多层或是多列卷积提取不同尺度的行人特征，在一定程度上解决了透视问题，但是仍旧有提升的空间。

事实上，在针对固定场景的行人计数情况下，常常会出现大量冗余信息。例如周围的环境建筑、停驻的车辆，往往在一定的时间段内都是不发生变化的。在现有的利用深度学习生成密度图的方法中，对干扰数据进行计算会占用一定的资源并导致计算速度变慢。针对这些背景信息的干扰，在处理视频流中可以通过在线背景更新以及背景分割的形式，事先过滤掉冗余信息。

综合以上思路，本发明提出了一种基于视频图像和在线背景分割的人群计数方法。

发明内容

针对现有行人计数领域存在的问题，本发明提出一种基于视频图像的人群计数方法。该方法具有以下优点：

在训练模型阶段，1)选择成熟的多层小卷积核神经网络(Convolutional NeuralNetwork,CNN)，例如VGG-16结构，做初步特征提取，在保证对图像具有强大表征能力的同时减少参数，使得模型更为简洁，通用性强；2)利用获得的多尺度特征对图像进行密度估计。在行人间存在相似性，密集程度较大的情况下，以低级特征为主可以更有效地进行统计；在密集程度较小的情况下，行人的高级特征会使得计数更为精准。因此利用密度分类的形式，可以针对不同的遮挡情况进行统计，增加计数的准确度。

在应用过程中，利用背景分割法分离环境干扰，保留关键信息，以稀疏矩阵的形式简化了图像参与计算的部分，加快了后续行人计数回归的速度；利用行人检测的空间信息以及背景分割法保留的信息实现背景的不断更新，最终实现完整背景的分离。

一种基于视频图像的人群计数方法，步骤如下：

步骤一、选取具有标注信息的行人图像数据集，测试集与训练集数量定为6：4，可以根据实际数据集对比例进行修改，然后根据图像自带的人头标注像素点进行高斯函数处理，生成原图像对应的初始真值密度图；

步骤二、搭建基于密度分类的编码-解码卷积网络模型。