[发明专利]一种基于长短期记忆-加权神经网络对视频人群计数的方法

说明书

本发明公开了一种基于长短期记忆的加权卷积神经网络对视频中的人群进行计数的方法，首先根据不同场景估计透视图，进而生成人群的自适应密度图；然后对连续多帧图像降采样后输入神经网络，并基于图像及其对应的真实自适应密度图训练网络；利用训练好的网络估计输入图像的密度图，并根据密度图预测人数。针对场景中人群的尺度差异，本发明通过一种分尺度损失函数衡量网络学习到的不同尺度特征。针对人群分布不均匀问题，本发明通过一种加权损失函数权衡不同区域的贡献。同时，本发明通过长短期记忆获取相邻帧之间的关联信息，并通过平滑滤波对预测的人数进行后处理，提高了人群计数的准确性。

技术领域

本发明属于智能监控领域，特别涉及一种利用长短期记忆-加权神经网络对视频图像进行人群计数的方法。

背景技术

随着全球人口剧增，群体事件中拥挤、踩踏等行为不断增加。2015年元旦，发生在上海外滩的恶性踩踏事件导致35人遇难，世界各地的宗教活动也容易发生大规模踩踏事件，产生极其严重的社会影响。因此，通过公共场所的监控视频实时监控人数，当人数超过一定阈值时发出警报，可以有效地避免发生恶性群体性事件，同时也可以为人流疏导提供依据。此外，基于视频的人群计数也可扩展到其他领域，例如统计道路中车流量进而对交通状况进行分析。

现有的人群计数方法通常通过检测和回归实现。检测计数法使用预训练好的检测器对当前场景进行扫描，从而统计场景中的目标个数。但是，大量的候选检测区域以及多尺度分析限制了目标检测的速度，目标间的相互遮挡也会影响检测的精度，导致检测计数法难以在复杂环境下得到应用。区别于检测计数法，回归计数法可以学习到视觉特征和人群数目之间的映射关系，从而直接通过提取的视觉特征估计人数，大大提高了人群计数算法的实时性。同时，通过提取合理的特征，可以有效克服复杂背景、目标遮挡等不利因素的影响。常用的视觉特征包括形状、边缘、面积、角点等低级视觉特征。近年来，随着深度技术的发展，越来越多的研究者尝试利用卷积神经网络自动从图像中提取人群计数相关的特征，这些自动提取的特征对复杂干扰因素的鲁棒性要强于传统手动提取的低级视觉特征。当得到与人群计数相关的特征后，训练一个回归器直接进行人数预测。常用的回归器包括支持向量回归器(SVR)、随机森林(RF)、极限学习机(ELM)。这些回归器可以从提取得到的视觉特征中学习与人数相关的信息，从而预测人数。但是，回归计数法仅在稀疏人群场景下取得了较好的效果，在极其密集的人群中，手动提取的特征无法用于准确预测人数，而传统的分类器也很难准确学到特征与人数之间的映射关系，检测效果较差。

近年来，大量研究利用深度学习进行人群计数。其中，大多数研究尝试将输入人群图像映射成密度图，并通过统计密度图的像素和预测场景人数。这类方法主要通过卷积神经网络(convolution neural network，CNN)自动提取与人群计数相关的视觉特征，这些自动提取的特征在处理人群严重遮挡、光照变化、透视畸变等问题上具有较强鲁棒性。然而，利用深度学习进行人群计数仍然存在诸如人群分布不均匀、尺度不一等挑战。同时，当前主流的深度学习人群计数方法通常只预测静止图像中的人数，而不能预测具有丰富时域信息的视频图像中的人数。基于上述问题，本发明提出了一种利用长短期记忆-加权卷积神经网络(multi-column convolution neural network-long short term memory，MCNN-LSTM)对视频图像进行人群计数的方法。

发明内容

本发明目的在于提出一种基于长短期记忆-加权卷积神经网络对视频图像进行人群计数的方法，此方法对人群分布不均、尺度不一等问题具有很强的鲁棒性，同时能够通过视频帧间的关联信息增强人群计数的准确性。

本发明的技术方案为：

一种基于长短期记忆-加权卷积神经网络对视频图像进行人群计数的方法，包括以下步骤：

1)：根据不同场景情况估计透视图，进而计算人群自适应密度图；

2)：构建多尺度卷积神经网络解决人群尺度差异问题；