[发明专利]基于多阶段混合注意网络的人群计数方法

权利要求书

1.基于多阶段混合注意网络的人群计数方法，其特征在于：该方法包括以下步骤：

S1：利用人群数据集的标注信息生成标签密度图，并对其中的训练集进行数据增强；

S2：建模多阶段混合注意网络；

S3：初始化预训练模型及其它网络层参数；

S4：输入训练图像，输出预测密度图，并计算预测密度图和标签密度图的损失；

S5：选择优化算法最小化损失，进行误差反向传播更新网络参数；

S6：每训练一次，就在测试集上通过评价指标验证模型计数性能；

S7：迭代训练至一定次数，并保存结果最优模型；

S8：将测试集图片输入S7保存的最优性能模型，输出预测密度图并进行积分获得估计人数。

2.根据权利要求1所述的基于多阶段混合注意网络的人群计数方法，其特征在于：所述S1具体为：利用高斯核函数对人群数据集的位置级注释进行高斯模糊，生成标签密度图作为监督数据，并对训练集进行数据增强，以此来增加训练样本，提升模型的泛化能力；

S11：采用大小为4的固定高斯核生成标签密度图，由于网络输出分辨率为原图的1/8，使用双线性插值对标签密度图进行8倍下采样；

S12：对训练集人群图像进行标准化和归一化，三通道均值和方差分别为(0.4108,0.3706,0.3596)和(0.2785,0.2692,0.2715)；

S13：对训练人群图像进行随机裁剪，由于Shanghai TechA和UCF-CC-50数据集尺寸大一不一致，随机裁剪4个大小为128X128的图像patch，对于Shanghai Tech B和UCF-QNRF尺寸一致的数据集随即裁剪4个大小为500X500的图像patch；

S14：对训练数据进行概率值为0.5的随机翻转以增加样本的多样性；

S15：对训练数据进行概率值为0.2的随机噪声以增强模型的鲁棒性。

3.根据权利要求2所述的基于多阶段混合注意网络的人群计数方法，其特征在于：所述S2具体为：建模多阶段混合注意网络，包括特征提取模块、多个混合注意模块和密度图回归模块，具体方式如下：

S21：由于在ImageNet上预训练的VGG16-BN模型具有良好的迁移学习能力，因此采用VGG16-BN的前10层作为特征提取模块；

S22：混合注意模块由空间注意模块和通道注意模块并联组成；

S23：建模空间注意模块，具体方式为，步骤S21提取的512通道数特征X₀经过一个3X3通道数为256的卷积核，后接入批处理归一化BN和激活函数ReLU得到特征X₁，将X₁通过一个1X1大小通道数为1的卷积核进行通道降维，再经过Sigmoid激活层得到一张与X₁相同宽、高的单通道权重图weightmap1，最后将输入特征X₀和weightmap1进行点乘操作得到空间注意模块的输出；

S24：建模通道注意模块，包括两个分支，分支一，将步骤S21输出的512通道数特征X₀经过一个1X1大小通道数为256的卷积核进行通道降维，然后再通过一个全局平均池化层，得到维度为1X1X256的特征块，后紧接维度为128的全连接层F1、批处理归一化BN、激活函数ReLU、维度为256的全连接层F2，以此来充分学习跨通道间的相关性依赖，之后经过Sigmoid激活层得到一个1X1X256的空间权重图weightmap2，分支二，将X₀经过一个3X3通道数为256的卷积核，后接入批处理归一化BN和激活函数ReLU得到特征X₂，最后将分支二输出X₂与weightmap2进行点成得到通道注意模块的输出；

S25：将步骤S23和步骤S24的输出使用Concat操作在通道维度进行拼接，得到通道为512的特征；

S26：串联多个步骤S22的混合注意模块，通过实验验证，发现3个混合注意模块的组合结果最优；

S27：建模密度图回归模块，包括2个大小为3X3通道数分别的128，64的卷积层，以及一个大小为1X1通道数为1的卷积层，最后将步骤S26输出的特征输入到这三个卷积层中即得到最终的预测密度图。