[发明专利]基于对抗学习的上下文注意力卷积神经网络的人群密度检测算法

权利要求书

1.基于对抗学习的上下文注意力卷积神经网络的人群密度检测算法，其特征在于：该基于对抗学习的上下文注意力卷积神经网络的人群密度检测算法包括以下步骤：

S1：选取训练集，读取人群密度数据集中的图片，并设置卷积神经网络模型的训练参数；

S2：根据卷积神经网络模型以及其训练参数，以损失函数最小化为目标来训练卷积神经网络模型；

S3：将待处理的图像输入到卷积神经网络模型中进行训练和测试，用Ci表示图像中的人群数量，并输出最终的人群密度图，记作Mi；

S4：以ShTech数据集图片为例，输入原始图像I之后，可以对原始图像I进行多尺度的缩放以及旋转或镜像操作，得到新的图像，由此来进行制定的特征提取，将这些新的图像集合记作Ii，并对新的图像集合Ii中的图像的人头位置进行标注，得到新的人群集合C；

S5：训练图像集合Ii的图片时，由图像集合Ii中标注文件生成真实密度图样本；

S6：首先利用VGG-16的前十层来构建卷积神经网络前端；

S7：经过上下文卷积模块，将提取出来的VGG特征值，针对不同的卷积特征图，采用不同的池化尺度来对此进行池化；

S8：接着对生成对抗网络进行训练，生成对抗网络网络包含生成器G和鉴别器D以及回归网络R，生成器G提取图片的语义信息，生成器G解码网络生成人群密度分布图，而鉴别器D则用于判别得到的人群密度分布图是属于S5得到的真实密度图样本还是属于生成器G生成，在不断逼近中得到更真实的人群密度图；

S9：对于整个结构的Loss计算使用的公式如下：

其中，Loss表示损失函数的值，λ₁表示鉴别器产生的误差所占的比重，G(I)表示图像I经过生成器G的输出，λ₂表示生成器所产生的误差所占的比重，D(G(I))表示G(I)经过鉴别器D的输出，m表示训练集样本数量，I表示输入原始图像，c_i表示图像中人群数量，M_i表示图像对应的人群密度图，为了使Loss尽可能的小，当数据集图片尺寸不固定的时候，选择batchsize为1的SGD作为优化器，而当尺寸固定时，则选择batch size为32的Adam作为优化器；

S10：将测试图像作为网络的输入，网络直接输出图像中的人数；

S11：最后的结果用均方误差MSE和平均绝对误差MAE来显示出来，均方误差MSE是最常用的回归损失函数，计算方法是求预测值与真实值之间距离的平方和，平均绝对误差MAE是另一种用于回归模型的损失函数，平均绝对误差MAE是目标值和预测值之差的绝对值之和；

2.根据权利要求1所述的基于对抗学习的上下文注意力卷积神经网络的人群密度检测算法，其特征在于：所述人群密度数据集为ShTech数据集，path_sets中保存的就是part_B中的训练集和测试集，然后依次读取数据集中的每一张图片将其放到列表img_paths中，由于原始图片和其对应的mat文件在两个不同的文件夹下面，文件名和后缀名有一定的区别，所以通过replace()方法将图片的路径img_path转换成mat文件的路径并读取。

3.根据权利要求2所述的基于对抗学习的上下文注意力卷积神经网络的人群密度检测算法，其特征在于：所述S5中标注文件生成真实密度图样本的过程具体为：首先构造一个和原始图片大小相同的矩阵，并将其全部置为0，然后将每个被标记的人头对应的位置为1，这样就得到了一个只有0和1的矩阵，最后通过高斯核函数进行卷积得到一个连续的密度图。

4.根据权利要求3所述的基于对抗学习的上下文注意力卷积神经网络的人群密度检测算法，其特征在于：所述S7中这里选择的三个卷积核大小分别为：1x1，2x2，3x3，6x6，分别可以得到不同大小的kxk的块。

5.根据权利要求4所述的基于对抗学习的上下文注意力卷积神经网络的人群密度检测算法，其特征在于：所述kxk的块与卷积核为1的卷积层进行卷积操作，选用卷积核为1进行卷积的好处是不会改变原始特征图的维度，从而可以确保卷积的过程中会增加冗余信息或是漏掉一些信息，接着将不同尺寸的特征图分别使用通过双线性插值的方法扩大到原始特征大小，最后通过通道拼接法对四个同样尺度的特征图进行特征融合，以形成对比度特征，进一步使用对比功能来学习比例感知功能的权重W，然后将其反馈到后端网络。