[发明专利]基于卷积网络与多任务学习的多场景人群密度估计方法

说明书

本发明公开了一种基于卷积网络与多任务学习的多场景人群密度估计系统及方法。包括人群密度图生成模块、跨摄像头多场景学习模块、各场景密度图校准模块。其中框架的第一部分为基于卷积神经网络的鲁棒密度图生成模块，卷积神经网络由三个深度融合子网络组成，每个深度融合子网络具有三路卷积核大小、数目不同的网络构成，因此可以有效把握密度估计问题的共性，对实际应用中在背景、光照、人群密度等方面数据分布差异较大的跨摄像头多场景监控视频帧进行较为鲁棒的密度图估计；框架的第二部分为基于多任务学习的各场景数据分布学习，学习到各个场景互不相同的人群分布特征；框架第三部分利用多任务学习学习到的各个场景人群分布特征对第一部分通用人群密度估计的结果进行校准微调。此系统在真实监控场景下，可以对多场景跨摄像头的人群进行高效准确地密度估计。

技术领域

本发明涉及一种计算机视觉与智能监控技术，具体来说是一种基于卷积网络与多任务学习的多场景人群密度估计系统。

背景技术

近年来城市中高密度人群聚集的现象日益频繁，踩踏事件时有发生，严重威胁城市公共安全，因此在公共场合对人群进行管控、预警的技术日益成为智能监控与城市安防领域的研究重点。人群密度估计技术是指通过计算机视觉技术对人群的密度进行估计，从而对高密度人群进行预警与疏散，已成为人群管控中的重要技术。

目前有方案基于无监督学习的方法来做人数统计任务，例如基于自相似方法或是基于运动相似算法。此类方法的优点是简单便捷，普适性强，可以直接部署于各个背景、人群分布不同的场景，但由于其误差较大，难以达到实际应用所需要的准确度。

目前也有利用深度学习中卷积神经网络的方法进行有监督学习，从而训练能够回归人群密度的卷积网络的技术方案。此种方法准确性更高，但是缺点在于必须保证训练集于测试集的数据处于同一分布。然而在实际应用场景中，各个位置的摄像头由于背景不同，人群的集中分布区域、人群的密度会有较大差别，因此每当需要部署于一个摄像头对应的场景，往往需要采集并标注大量此摄像头对应场景的人群图片重新训练密度图回归网络，或是当采用模型微调的方式进行迁移，这两种机制都需要针对部署场景付出额外的数据采集标注与模型训练代价，在实际海量摄像头的部署应用过程中数据标注与模型训练的代价极大。

而多任务学习正是一种有效地对各个任务场景之间的共性和特性进行学习，从而有效提升每一场景的任务准确率，并提升数据利用效率，降低每个场景所需数据量的方法。

发明内容

1、发明目的。

本发明针对现有技术的不足，基于多任务学习与卷积神经网络，提供能够部署于实际海量监控摄像头中的人群密度估计系统及方法。

2、本发明所采用的技术方案。

本发明提出的基于卷积网络与多任务学习的多场景人群密度估计系统，包括:

粗密度估计模块，利用卷积神经网络对任意场景的人群监控视频帧进行密度图回归，得到粗略密度图；

多任务学习模块，利用多任务学习对各个摄像头所对应场景中的人群分布特点进行学习；

精细化模块，利用多任务学习模块中学习得到的各个摄像头对应场景的人群分布特点，对粗略密度图进行精细化。

在训练阶段，所述粗密度估计模块中需要对训练数据进行准备，卷积神经网络输入为监控视频帧，标注信息为图片中所有人人头的坐标位置(x,y)，监督信号为根据人头坐标位置生成的人群密度图，

其中(x_i,y_i)为第i个人头目标的坐标位置，σ为高斯函数的参数,D为生成的真实密度图。

为了能够对各个场景的人群图片具有较好的鲁棒性，能够把握各个场景的人群分布共性。所述的粗密度估计模块中密度图回归网络具有三个深层融合节点，每个节点由三列具有不同大小、数目的卷积核子网络构成。