[发明专利]一种无人机航拍图片的人群密度估计方法

说明书

本发明公开了一种无人机航拍图片的人群密度估计方法。包括卷积神经网络模块，为具有跨层连接结构的卷积神经网络，用于对航拍图像中的微小行人目标进行感知，并回归人群密度图，从而得到能够回归人群密度图的原始网络；剪枝模块，用于基于AP聚类算法的网络剪枝方法对原始网络进行剪枝，同时压缩网络参数并减少卷积运算，得到便于部署的轻量化网络；估算模块，用于FPGA编程在无人机上实现轻量化网络的人群密度估计算法。本发明可以部署在无人机上准确高效地对地进行人群密度估计。

技术领域

本发明涉及一种计算机视觉与智能监控技术，具体来说是一种基于卷积神经网络与网络剪枝的无人机航拍图像人群密度估计系统。

背景技术

人群密度过高已成为现代城市面临的重大安全威胁。通过技术手段对人群密度进行管控，对高密度人群进行预警，已成为智能安防领域的研究热点。

目前已有方案对监控摄像头拍摄的视频帧进行人群密度估计，借助深度学习中的卷积神经网络模型，取得了较高的准确度。但只利用摄像头进行人群密度估计存在以下几点问题：首先，摄像头位置固定，难免存在监控死角；其次，摄像头为倾斜视角，高密度人群中行人中遮挡严重，密度估计误差往往较大，最后对于临时的大规模集会等情境下，监控摄像头难以临时部署。

近年来无人机在计算机视觉和智能监控领域的很多应用中，例如：目标跟踪、车流量统计和轨迹分析等，都取得了较好的效果。在人群管控领域，相比于固定的监控摄像头，无人机具有灵活机动、便于部署、垂直拍摄，不易发生遮挡等优势。因此，无人机航拍图片的人群密度估计具有广阔应用空间。

但与监控摄像头相比，无人机平台具有图片中行人目标极小以及无人机上存储空间、运算能力、续航电量十分有限的特点。

针对感知航拍图片中的小目标问题，需要在卷积网络结构的设计上进行改进。针对运算能力、存储空间有限的问题，需要通过对模型进行剪枝，减去冗余的卷积核，同时减小网络参数量和卷积操作数目。

发明内容

1、发明目的。

针对现有技术的不足，本发明基于卷积神经网络和网络剪枝的无人机航拍图像的人群计数方法，从而提供一种能够部署于无人机平台的人群密度估计系统。

2、本发明所采用的技术方案。

本发明公开了一种无人机航拍图片的人群密度估计方法，包括：

卷积神经网络模块，为具有跨层连接结构的卷积神经网络，用于对航拍图像中的微小行人目标进行感知，并回归人群密度图，从而得到能够回归人群密度图的原始网络；

剪枝模块，用于基于AP聚类算法的网络剪枝方法对原始网络进行剪枝，同时压缩网络参数并减少卷积运算，得到便于部署的轻量化网络；

估算模块，用于FPGA编程在无人机上实现轻量化网络的人群密度估计算法。

更进一步具体实施方式中，卷积神经网络模块中密度图回归网络由三个子网络构成，每个子网络包含三列具有不同大小、数量卷积核的卷积网络。

为加强对小目标的感知效果，所述的卷积网络还具有跨层连接结构，底层特征图倾向感知图片细节信息，高层特征图倾向感知高层语义信息，将底层特征图与高层特征图进行融合，使底层细节特征得以保留和加强。

更进一步具体实施方式中，所述的剪枝模块中，对基于卷积核的AP聚类算法结果对原始网络各层的卷积核进行剪枝，其对每一个卷积层剪枝具体为：

判断荣誉模块，通过AP聚类算法判断冗余卷积核；

删除冗余模块，删去冗余卷积核及其对应参数，保留聚类中心对应的卷积核；

训练收敛模块，将删去卷积核后的整体网络训练至收敛。