[发明专利]一种基于对抗学习网络的尺度自适应密集人群计数方法

权利要求书

1.一种基于对抗学习网络的尺度自适应密集人群计数方法，其特征在于，包括以下步骤：

(1)通过构建对抗学习网络ASANet，密集人群计数与目标检测形成博弈关系，两者在训练过程中自动更新进化；

(2)将密集人群计数的RGB图像输入密集人群计数分支的特征提取器，输出多层次多尺度的特征图，再经过四倍上采样，输出高质量的预测密度图，同时将目标检测的RGB图像输入目标检测分支的特征提取器，输出多层次多尺度的特征图，再经过回归器，输出目标检测框坐标；

(3)将密集人群计数和目标检测的RGB图像同时输入共享分支的特征提取器，输出两个多层次多尺度的特征图，再由鉴别器鉴别两个特征图是源于密集人群计数还是目标检测的图像；

(4)基于步骤(2)中得到的密度图，联合使用归一化的欧几里得距离损失函数和对抗损失函数对网络ASANet进行训练；基于步骤(2)中得到的目标检测框坐标，使用Focal损失函数对网络ASANet进行训练；

(5)将测试图像输入经过步骤(4)训练后的网络ASANet，输出具有与输入图像相同分辨率的预测密度图，再用平均绝对误差和均方误差对网络进行评估。

2.如权利要求1所述的一种基于对抗学习网络的尺度自适应密集人群计数方法，其特征在于步骤(1)中所述的对抗学习网络ASANet，该网络包括一个密集人群计数分支CCPB，一个目标检测分支ODPB和一个共享分支。

3.如权利要求1所述的一种基于对抗学习网络的尺度自适应密集人群计数方法，其特征在于步骤(2)中所述的密集人群计数分支和目标检测分支，前者由一个多层次特征融合模块FFB、一个多尺度膨胀卷积模块SDCB和一个上采样层组成，后者由一个FFB、一个SDCB和一个回归器组成；

所述多层次特征融合模块FFB包含14层卷积和3层最大池化层，该模块将图像中的轮廓信息与高级语义信息相融合，从而得到多层次的特征信息；

所述多尺度膨胀卷积模块SDBC包含三层具有不同膨胀系数的卷积和三个通道注意力组件，将三层卷积并排，每层卷积后面连接一个通道注意力组件，再将三个并排的分支融合起来，从而获取多尺度的特征信息。

4.如权利要求1所述的一种基于对抗学习网络的尺度自适应密集人群计数方法，其特征在于步骤(3)中所述的共享分支，该分支包括一个FFB、一个SDCB和一个鉴别器，将两张图像输入由FFB和SDCB组成的特征提取器后，输出对应的两张特征图，再将这两张特征图输入鉴别器，输出0～1之间的值，然后利用softmax损失函数更新共享分支的权重；

所述鉴别器包括梯度反转、三个卷积层、一个全连接层和一个softmax层。

5.如权利要求1所述的一种基于对抗学习网络的尺度自适应密集人群计数方法，其特征在于步骤(4)中所述的联合损失函数，该联合损失函数由归一化的欧几里得距离损失函数和对抗损失函数加权求和得到，训练过程中网络ASANet根据最小化联合损失函数更新权重；

所述的归一化的欧几里得距离损失函数由公式(1)定义，

其中，N表示样本数，X_i表示输入图像，θ表示网络参数，D(X_i；θ)表示预测密度图，表示标记密度图，(m，n)表示密度图中像素点的坐标，W和H表示标记密度图的宽和高；

对抗损失函数由公式(2)定义，

其中，x_i表示第i个类别，x_j表示第j个类别；

联合损失函数由公式(3)定义，

L＝L_nel(θ)+λL_adv (3)

其中，λ为所加权重；

Focal损失函数由公式(4)定义，

FL(p_t)＝-α_t(1-p_t)²log(p_t) (4)

其中，α∈[0，1]是权重因子。

6.如权利要求1所述的一种基于对抗学习网络的尺度自适应密集人群计数方法，其特征在于步骤(5)中所述的具有与输入图像相同分辨率的预测密度图，其目的在于将预测密度图的分辨率扩大而保持标记密度图的分辨率，然后基于上采样后的预测密度图和标记密度图计算平均绝对误差和均方误差，以此来评估该密集人群计数方法的有效性，所述的上采样操作采用亚像素卷积层来实现。