[发明专利]一种基于多尺度密度图融合空洞卷积的人群计数方法

权利要求书

1.一种基于多尺度密度图融合空洞卷积的人群计数方法，其特征在于包括以下步骤：

步骤(1)获取人群图像数据集，并且进行预处理；

步骤(2)建立基于多尺度密度图融合空洞卷积的人群计数网络；

步骤(3)将预处理之后的人群图像输入该人群计数网络中提取特征数据，输出对应图像的低分辨率密度图；

步骤(4)将低分辨率密度图融合空洞卷积网络，输出对应图像的高分辨率密度图；

步骤(5)对人群计数网络输出的高分辨率密度图进行积分，得到对应人群图像中的人群总数；

步骤(6)将最后输出的高分辨率密度图与人工标注的真实密度图进行损失计算，不断迭代更新人群计数网络；

步骤(7)将测试图片输入最终确认的人群计数网络，生成人群分布密度图并且进行人群计数；

步骤(1)具体过程如下：

(1-1)从网上获取本领域的多个公开数据集，对每个数据集分别进行整理归类，随机抽选出所需数量的图片作为训练集，剩下的作为测试集；

(1-2)将整理出的训练集进行二值化、归一化、数据增强的预处理，消除图像中的无关信息，输入人群图像的训练集表示为P＝{p₁,p₂…p_n}，其中n表示为训练集大小；

步骤(2)具体过程如下：

(2-1)构建基于多尺度密度图融合空洞卷积的人群计数网络，确定网络的广度、深度和训练方式；

(2-2)该人群计数网络由主干和分支两部分构成，其中分支生成三个含有不同空间关联信息的低分辨率密度图，主干用于将三个含有不同语义信息的低分辨率密度图融合空洞卷积生成高分辨率密度图；

(2-3)通过网络训练每一张图片，生成对应的低分辨率密度图B_i和高分辨率密度图h_i，构成一个三元组集合，D＝{(p₁,B₁,h₁)…(p_n,B_n,h_n)}，其中p_i是第i个输入图像，B_i是第p_i对应的低分辨率密度图，h_i是p_i对应的高分辨率密度图，n表示训练集大小；

步骤(3)具体过程如下：

(3-1)从步骤(1)的数据集中获取预处理后的训练集P＝{p₁,p₂…p_n}，输入人群计数网络中；

(3-2)在人群计数网络的主干网络前端提取出三个不同深度的特征向量，分别输入分支中的三条子分支进一步提取语义信息，输出对应的低分辨率密度图B_i＝{b_i1,b_i2…b_i3}，将低分辨率密度图作为高分辨率密度图预测任务的重要特征，b_ij是第i个输入图像对应的第j条子分支的低分辨率密度图,1≤j≤3；

(3-3)对输入图像进行映射，映射函数为：α_l为低分辨率密度图对应的子分支的参数；p_i表示第i个输入图像；f_l()表示映射函数,反映了低分辨率密度图分支的一系列卷积操作过程；表示人群计数网络得出的低分辨率密度图；

步骤(4)具体过程如下：

(4-1)基于步骤(3-1)，在人群计数网络的主干网络后端构建空洞卷积神经网络，在图像不同大小的感受野上进一步提取关键特征；假设特征输出为y，则y_i表示第i个图像于空洞卷积的特征输出，卷积核为k，空洞率为d，则空洞卷积操作如下：

y_i＝∑_dx_[i+r*d]k[d]；

其中，r表示空洞卷积核的步长，即卷积核的间隔数量，普通的卷积是空洞卷积的一个特殊情况，当r＝1的时候，即是普通的卷积核，通过设置不同的步长r来获得不同大小的感受野；x_i+r*d表示第i个图像于空洞卷积的特征输入；

(4-2)融合低分辨率密度图输出最终的高分辨率密度图

为第i张图片对应的高分辨率密度图，f_h()为高分辨率的映射函数，反映了生成高分辨率密度图时的一系列卷积过程；α_l为低分辨率密度图对应的子分支的参数,α_h为主干网络生成高分辨率密度图的参数；

步骤(5)具体过程如下：

(5-1)通过对最终输出的高分辨率度图中所有像素求和得出总体人群计数：

步骤(6)具体过程如下：

(6-1)将输出的高分辨率度图与人工标注的真实密度图进行损失计算，低分辨率密度图包含输入图像p_i中人群的空间关联信息；低分辨率密度图是高分辨率密度图预测任务的重要特征；通过最小化损失函数L(α_l,α_h)来优化参数α_l和α_h，

其中λ_l和λ_h是标量超参数；B_i和h_i分别表示人工标注的真实的低分辨率密度图和高分辨率密度图；

(6-2)采用Adam优化器进行训练，利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率，经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳；

(6-3)结束训练，得到最优的人群计数网络；

步骤(7)具体过程如下：

(7-1)将测试图像集输入训练好的基于多尺度密度图融合空洞卷积的人群计数网络中；

(7-2)输出对应的人群分布密度图以及总人数。