[发明专利]基于卷积神经网络的人群密度分布估计方法

权利要求书

1.一种基于卷积神经网络的人群密度分布估计方法，具体包含如下步骤：

步骤1.选取不同场景人群图像数据集，对单个图片中的人群位置进行像素级标注并统计人数，生成标签信息，标签信息包括：标签图片和人数标签，其中，标签图像中人群部分像素标记为目标灰度值；将图像数据集中原图及其对应的标签信息分成两部分，一部分作为训练样本集，另一部分作为测试样本集，每个样本集中的样本包括一张图像、相应的标签图片以及人数标签；

步骤2.构建人群分割全卷积神经网络和人数回归卷积神经网络；并利用训练样本集，离线学习全卷积神经网络参数及卷积神经网络参数，得到相应的网络模型；

步骤3.利用训练好的网络模型，得到输入图像的人数和人群标签图；

步骤4.根据选取图片对应的摄像头高度和倾斜角设计纠正模板，对人群标签图进行多尺度模板卷积和蒙版运算，生成密度图像；

步骤5.根据密度图像和人数，生成人群密度热度图，进行人群密度分布的估计；

所述步骤4具体包含内容如下：

步骤4.1、当标签图片中一个像素的周围均为人群像素时，该像素的人群密度相对较大，通过不同尺寸模板对标签图片进行卷积运算，得到该像素的相对密度，绘制出初步的人群密度图F₁(x,y)；

步骤4.2、建立与图像同等尺寸的二维蒙版矩阵，假设图像的高度、宽度分别为H、W，将该二维蒙版矩阵看作单通道灰度图，以其左上顶点为坐标原点，水平向右为x轴，垂直向上为y轴，底边中间位置(W/2，H)处的像素值为1，其余位置的像素值为到该点的棋盘距离的k次方，对于该蒙版矩阵在点(x,y)处的值为：I(x,y)＝(Max(|x-W/2|,|y-H|))^k，其中，k＝λhsinθ，λ为可调参数，h为摄像头高度，参数θ为摄像头与垂直方向倾斜角度，0°＜θ＜70°；

步骤4.3、通过公式：对蒙版矩阵做归一化；

步骤4.4、将得到的蒙版矩阵I'(x,y)与F₁(x,y)点乘运算得到密度图像。

2.根据权利要求1所述的基于卷积神经网络的人群密度分布估计方法，其特征在于：步骤1中人群位置进行像素级标注并统计人数，具体包含：对单个图片中有人的位置像素表示为1，没有人群的位置像素表示为0，生成标签信息，其中，标签信息中的标签图片采用带调色板的检索图片表示。

3.根据权利要求1所述的基于卷积神经网络的人群密度分布估计方法，其特征在于：步骤2学习人群全卷积神经网络参数具体包含如下内容：

步骤2.1.1、建立全卷积神经网络结构，包含七组卷积和五次池化，利用训练样本集，学习人群分割估计函数F(x,Θ)，其中，x为训练样本集中输入图像，Θ为网络学习参数；

步骤2.1.2、采用堆叠多个卷积核，进行相应的卷积运算和池化运算，其中，第一组、第二组卷积中每组进行两层卷积运算，该卷积核大小为3*3；中间三组卷积中每组进行三层卷积运算；第六组和第七组为全连接运算转换为卷积运算，卷积核大小分别为7*7、1*1；五次池化均利用大小为2*2卷积核进行下采样运算；

步骤2.1.3、利用skip layer网络结构融合技术，对第三次池化运算、第四次池化运算结果及第七组卷积后的输出进行底层高层融合，以及反卷积生成人群分割图；

步骤2.1.4、利用梯度下降法优化softmax损失函数：

进行多次迭代，更新网络参数，使得损失函数收敛到较小值。

4.根据权利要求1中所述的基于卷积神经网络的人群密度分布估计方法，其特征在于：步骤2中的学习人数回归卷积神经网络参数具体包含内容如下：

步骤2.2.1、建立卷积神经网络结构，包含五组卷积、五次池化和两个全连接，利用训练样本集，学习人数回归估计函数L(x,Θ)，其中，x为训练样本集中输入图像，Θ为待优化网络学习参数；

步骤2.2.2、采用堆叠多个卷积核，进行相应的卷积运算和池化运算，其中，第一组、第二组卷积中每组进行两层卷积运算，该卷积核大小为3*3；中间三组卷积中每组进行三层卷积运算；五次池化均利用大小为2*2卷积核进行下采样运算；然后进行两个全连接运算；

步骤2.2.3、使用欧式距离作为损失函数，其表达式为：更新网络参数，其中，Θ是待优化网络学习参数，N是训练样本数量，X_i是输入图像，F_y是网络回归的人数，Y是人数标签。