[发明专利]多特征信息融合的人群密度估计方法、设备及存储介质

权利要求书

1.一种多特征信息融合的人群密度估计方法，其特征在于，具体步骤如下：

S1构建训练数据集，对训练数据集进行预处理；

S2构建并训练多特征信息融合卷积神经网络，得到多特征信息融合的人群密度估计模型；所述多特征信息融合卷积神经网络分为上下两层，上层包括VGG16前10层，下层包括VGG16前10层后衔接的空间注意力透视网络、多尺度信息聚合网络、语义嵌入融合网络以及后端空洞卷积网络；

S3使用多特征信息融合的人群密度估计模型对待检测数据集中的人群密度进行检测，输出最终的人群密度图。

2.根据权利要求1所述的一种多特征信息融合的人群密度估计方法，其特征在于，步骤S2中，

1)构建多特征信息融合的人群密度估计网络，将基础骨架VGG16中的第二、三、十层的结果分别输出，生成一组不同分辨率的初始特征图；

2)将第十层的初始特征图输入多尺度信息聚合网络，多尺度信息聚合网络通过多尺度非对称卷积捕捉第十层的特征图的多尺度特征，通过不同膨胀率的空洞卷积扩大多尺度特征的群感受野，得到多尺度图像上下文信息F_M；

3)将第十层的特征图输入空间注意力透视网络，空间注意力透视网络对第十层的初始特征图进行四个方向的卷积得到四张特征图，对得到的特征图进行融合，得到空间全局上下文信息F_P；

4)将第二、三层的初始特征图与步骤2中的多尺度图像上下文信息F_M在语义嵌入融合网络中进行语义嵌入上采样，语义上采样后再进行语义嵌入融合得到语义嵌入特征图F_SE；

5)将步骤3)空间全局上下文信息F_P和步骤2)中的多尺度图像上下文信息F_M拼接后输入空洞卷积网络第一层，步骤4)得到的语义嵌入特征图F_SE输入空洞卷积网络第五层，通过后端空洞卷积网络输出得到预测密度图M；

6)根据预测密度图M与对应真值图计算人群密度估计损失值，利用人群密度估计损失值对所述多特征信息融合的人群密度估计网络进行训练得到多特征信息融合的人群密度估计模型。

3.根据权利要求2所述的一种多特征信息融合的人群密度估计方法，其特征在于，步骤2)中，所述多尺度非对称卷积采用1×1、3×3、5×5三种不同卷积核尺寸，所述多尺度非对称卷积包括训练和部署两个阶段，其中训练阶段为将现有网络每一个3×3卷积层替换成3×3、3×1、1×3三个卷积层，所述部署阶段为融合三个卷积核再对初始特征图进行卷积。

4.根据权利要求2所述的一种多特征信息融合的人群密度估计方法，其特征在于，步骤2)中，所述不同空洞率的空洞卷积包括rate＝1、rate＝3和rate＝5的3×3扩张卷积。

5.根据权利要求2所述的一种多特征信息融合的人群密度估计方法，其特征在于，步骤3)中，所述四个方向的卷积依次为从左到右，从右到左，从上到下，从下到上的卷积。

6.根据权利要求2所述的一种多特征信息融合的人群密度估计方法，其特征在于，步骤4)中，所述语义嵌入融合算法如公式(3)所示：

m_l＝Upsample(m_l)+F(m_l-1,m_l)， (3)

F_SE＝m₃，式中，l＝[1,2,3]，F(﹒)函数功能为矩阵逐元素相乘操作，Uupsample(m_l)为对第l层的特征进行上采样。

7.根据权利要求2所述的一种多特征信息融合的人群密度估计方法，其特征在于，步骤5)中，所述后端空洞卷积网络为六层。

8.根据权利要求1所述的一种多特征信息融合的人群密度估计方法，其特征在于，步骤S1中，所述预处理为对训练数据集进行数据增强。