[发明专利]基于注意力机制和可变形卷积神经网络的人群分析方法

权利要求书

1.一种基于注意力机制和可变形卷积神经网络的人群分析方法，其特征在于包括：

训练阶段，首先通过人群图像和背景图像训练注意力图生成器(AMG)，并将训练好的注意力图生成器模型作为辅助密度图生成器(DME)训练的部件；

测试阶段，仅使用训练好的密度图生成器对输入的人群图像生成对应的密度图；

其中，训练密度图生成器时，输入的人群图像先通过注意力图生成器生成对应的注意力图(attention map)，输入的人群图像与注意力图的点乘乘积作为训练密度图生成器的输入，在训练密度图生成器时，训练好的注意力图生成器仅作为辅助训练的部件，不更新参数；

训练阶段包括以下步骤：

(1)生成人群图像对应的密度图标签，其处理过程如下：

人群图像的训练数据包含对应的人工标记好的人头坐标位置，对这些人头坐标位置做高斯模糊并累加，生成人群图像的密度图标签，具有N个人头标记的密度图生成公式如下：

其中，F(x)是密度图，δ(x-x_i)是delta函数，x_i是每个人头的位置，是带标准差为σ_i的高斯核函数，β是常数，是与x_i距离最近k个人的平均距离，在生成的密度图中，某一位置的值越大表示该位置的人群密度越高；

(2)构建基于注意力机制和可变形卷积神经网络：

利用注意力图生成器生成人群图像的注意力图检测人群区域并在一定程度上反映人群区域的拥挤程度，注意力图生成器用于生成人群图像的注意力图用于检测人群区域并在一定程度上反映人群区域的拥挤程度，做为训练密度图生成器的先验知识；

生成注意力图包括以下步骤：

人群图像作为注意力图生成器的输入，F_b和F_c为网络最后一层卷积层的输出特征图，W_b和W_c是F_b和F_c经过全局平均池化(GAP)得到的对应的均值，P_b和P_c是W_b和W_c经过Softmax函数后得到对应的分类得分(predicted score)，分别表示背景图像和人群图像的概率，生成注意力图的公式如下所示：

M＝F_b·P_b+F_c·P_c

其中，M表示输入人群图像对应的注意力图，注意力图需要通过双线性插值放大至与输入人群图像相同的大小，并且将图中的值归一化在0到1的范围内。

2.如权利要求1所述的基于注意力机制和可变形卷积神经网络的人群分析方法，其特征在于：

注意力图生成器的网路结构由前端(front end)和后端(back end)两部分组成，前端是预训练好的VGG16模型的前10层；后端由具有不同扩张率的扩张卷积层组成。

3.如权利要求1所述的基于注意力机制和可变形卷积神经网络的人群分析方法，其特征在于：

密度图生成器的网路结构由前端(front end)和后端(back end)两部分组成，前端是预训练好的VGG16模型的前10层；后端由具有不同卷积核大小的可变形卷积层组成。

4.如权利要求1所述的基于注意力机制和可变形卷积神经网络的人群分析方法，其特征在于：

密度图生成器用欧式距离函数来衡量估计密度图和真实密度图之间的差异，其损失函数如下所示：

其中N是训练图像的数量，Θ是密度图生成器训练得到的参数，X_i是输入图像，F(X_i；Θ)是估计密度图，F_i是输入图像的真实密度图。