[发明专利]一种基于深度学习的图像高密度人群计数方法

说明书

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的图像的高密度人群计数方法。

背景技术

近些年深度学习发展非常火热，卷积神经网络在图像处理中得到了飞速发展，各种架构的神经网络层出不穷，通过设计精密的神经网络结构，可以用于高密度场景下的人群数目估计。公共场合如火车站，体育馆等人流量密集的地方，对于实时监控人群数目能调控人流从而避免发生诸如踩踏等威胁人身安全的事件，对于提升公共安全意义重大。

传统的人群计数算法需要前期对图像进行复杂的预处理，需要人工设计和提取特征，并且不同的场景下适应性较差，在高密度人群场景下由于严重的遮挡以及视角畸变等原因，传统的人群计数算法效果较差。

深度学习通过设计卷积神经网络，无需对图片进行前景分割等预处理，无需人工设计和提取特征，直接输入大小不一的图片，网络可以实现端到端的训练，自动学习到高层语义特征，可以交替回归图像块的人群密度和人群总数来实现人数估计。

发明内容

本发明的主要目的在于克服传统的图像处理在高密度人群计数中的缺点与不足，提出了利用深度学习中的卷积神经网络进行人群计数，无需人工干预设计复杂的特征提取方法，所提出的深浅互补卷积神经网络自动学习参数提取高密度人群图片特征，并回归得到人群密度图。

为了达到上述目的，本发明采用以下技术方案：

本发明公开了一种基于深度学习的图像高密度人群计数方法，包括下述步骤：

S1、利用深度学习框架caffe建立深浅互补卷积神经网络；

S2、对图像按角度旋转、图像的多尺度缩放、图像的镜像以及图像金字塔缩放的操作实现图像数据增强；

S3、将增强后的图像数据进行Gaussian核模糊归一化处理后得到真实的人群密度图，网络输出估计密度图与真实密度图按照损失函数不断迭代训练优化整个网络结构；

S4、将人群图片和标签图片输入给网络训练，不断迭代优化最终得到训练好的网络模型。

作为优选的技术方案，步骤S1中，所述深浅互补卷积神经网络为高层特征和低层特征结合的神经网络，具体包括深层网络和浅层网络两列网络：

第一列深层网络包含13个卷积层，卷积核大小均为3×3，每层卷积后使用线性修正单元ReLU函数进行激活，使网络稀疏，减少参数相互依赖缓解过拟合问题的发生；

第二列浅层网络包含3个卷积层，卷积核大小均为5×5，每层卷积后使用线性修正单元ReLU函数进行激活，激活后进行池化处理；

将第二列浅层网络的输出输入至第一列深层网络最后一个平均值池化层和卷积层处理后进行输出；

将深层网络和浅层网络链接在一起后经过1×1卷积层处理，这样用1×1卷积层代替全连接层，将深层网络和浅层网络融合，使整个网络成为全卷积网络，该全卷积网络可接受各种尺度图片的输入，最后网络输出估计的密度图。

作为优选的技术方案，在第一列深层网络中，把激活步骤放置于卷积层中，每做一次卷积后，均采用池化Pooling处理，第一列深层网络共有4个池化层，采用最大值池化MaxPool和平均值池化AvgPool交替池化方案，最大值池化和平均值池化的窗口大小均为2×2，最后一个池化层窗口大小为3×3，步长均为1。

作为优选的技术方案，所述第二列浅层网络均采用平均值池化AvgPool进行处理，池化的窗口大小均为5×5，步长为1。

作为优选的技术方案，步骤S2具体为：

S21、对输入图像进行梯度为5°的旋转操作，左旋5°以及右旋5°使图像数据扩大至3倍；

S22、对输入图像进行尺度分别为：0.6、0.9、1.4倍的缩放操作，使图像数据扩大至12倍；

S23、对输入图像进行镜像操作，使图像数据扩大至24倍；

S24、为使网络对于输入图像的大小变化更具鲁棒性，采用金字塔型图像缩放，缩放范围为原图的0.6至1.3倍，缩放大小的间隔为0.1，使图像数据扩大至192倍。

作为优选的技术方案，步骤S3中，利用Gaussian核模糊归一化处理的具体步骤为：

标注集图像x和由Gaussian核模糊归一化处理后的密度图Ground Truth，即对应的真实的密度图为：