[发明专利]基于空间感知的注意力细化框架的人群计数方法及系统

权利要求书

1.一种基于空间感知的注意力细化框架的人群计数方法，包括如下步骤：

步骤S1，利用卷积神经网络产生所有训练图像的特征图初始人群密度图M₀及密度等级信息g；

步骤S2，将步骤S1产生的特征图初始人群密度图M₀及密度等级信息g输入至一个可迭代的空间感知细化模块，利用空间回归映射网络以空间感知的方式对人群密度图动态定域，生成矫正后的局部密度图并结合长短期记忆模块负责为下一次迭代的动态定域更新策略；

步骤S3，对密度等级信息g进行编码以生成密度等级图整合局部密度图与密度等级图分别作为每轮迭代的局部与全局信息，输入到下游的局部细化网络；

步骤S4，利用局部细化网络重点调整输入区域的密度分布，对其施以步骤S2中的逆向空间回归映射，最后以残差学习的方式更新生成人群密度图；

步骤S5，多次迭代式地进行步骤S2-S4的训练过程，最终获得经过精细化后的人群密度图；

步骤S2进一步包括：

以步骤S1产生的特征图初始人群密度图M₀及密度等级信息g，输入到下层的可迭代的空间感知细化模块；

以步骤S1产生的初始人群密度图M₀，将其输入到一全连接层进行编码，结合一个长短期记忆模块，再经过一个全连接层得到用于空间映射回归的变换矩阵T_i，空间映射回归网络ST通过变换矩阵T_i进一步处理特征图从而获得经过矫正的局部密度分布图所述长短期记忆模块负责为下一次迭代的动态定域更新策略。

2.如权利要求1所述的一种基于空间感知的注意力细化框架的人群计数方法，其特征在于，于步骤S5后，还包括如下步骤：

于每个训练样本迭代完成后，根据最后密度图生成的优劣，对训练样本进行带权的重采样。

3.如权利要求1所述的一种基于空间感知的注意力细化框架的人群计数方法，其特征在于，步骤S1进一步包括：

选择含有人群标注的数据集作为模型监督学习的训练数据；

利用多任务的多层柱卷积神经网络为所有训练样本产生所有训练图像的特征图初始人群密度图M₀及密度等级信息g。

4.如权利要求3所述的一种基于空间感知的注意力细化框架的人群计数方法，其特征在于：于所述多任务的多层柱卷积神经网络中，包括三列层柱子网络，每列层柱子网络都由七个滤波核不同的、通道数不同的卷积层以及三个最大池化层连接堆叠而成，每一个子网络接收同一尺度的图像输入，输出具有不同感受野的高维特征在对每一个子网络提取的特征在顶层进行特征连接后，分别再使用滤波核大小为1×1的卷积层，一路直接生成初始人群密度分布图M₀，另一路输入softmax层产生密度等级信息图g。

5.如权利要求1所述的一种基于空间感知的注意力细化框架的人群计数方法，其特征在于，步骤S3进一步包括：

将全图密度等级信息g经过两个全连接层进行编码后，重塑为大小为W*H的密度等级图

将步骤S2生成的局部密度分布图与所述密度等级图沿通道维度连接，从而整合局部与全局信息；

将矫正后的局部密度图与全图密度等级信息g分别作为每轮迭代的局部与全局信息，输入到下游的局部细化网络。

6.如权利要求1所述的一种基于空间感知的注意力细化框架的人群计数方法，其特征在于，于步骤S4中，所述局部细化网络利用一对称的全卷积神经网络，将包含了局部信息与全局信息的特征进行进一步处理，再施以步骤S2中的逆向空间回归映射T_i^-1，生成一个残差形式的模板，最后以像素层面的按位相加形式对上一轮迭代生成的密度图M_i-1进行修正。

7.如权利要求1所述的一种基于空间感知的注意力细化框架的人群计数方法，其特征在于：于步骤S5中，每一轮经迭代细化后的密度图M_i都将作为可迭代的空间感知细化模块的下一轮迭代的输入，根据长短期记忆模块的策略进一步进行细化。

8.一种基于空间感知的注意力细化框架的人群计数系统，包括：

全局特征嵌入单元，用于利用卷积神经网络产生所有训练图像的特征图初始人群密度图M₀及密度等级信息g；

空间感知定域单元，用于将全局特征嵌入单元产生的特征图初始人群密度图M₀及密度等级信息g输入至一个可迭代的空间感知细化模块，利用空间回归映射网络以空间感知的方式对人群密度图动态定域，生成矫正后的局部密度图并结合长短期记忆模块负责为下一次迭代的动态定域更新策略；

全局特征抽取单元，用于将所述图像的全图密度等级信息g进行整合，重塑密度等级图为后续的局部细化做准备；

局部细化单元，用于整合所述空间感知定域单元生成的局部密度图与全局特征抽取单元重塑的密度等级图分别作为每轮迭代的局部与全局信息，输入到下游的局部细化网络，利用局部细化网络重点调整输入区域的密度分布，对其施以所述空间感知定域单元中的逆向空间回归映射，最后以残差学习的方式更新生成人群密度图；

迭代训练单元，用于多次迭代式地进行空间感知定域单元、全局特征抽取单元以及局部细化单元的训练过程，最终获得经过精细化后的人群密度图；

所述空间感知定域单元包括：

特征输入单元,用于将所述全局特征嵌入单元产生的特征图初始人群密度图M₀及密度等级信息g，输入到下层的可迭代的空间感知细化模块；

密度图编码单元，用于将上游多任务多层柱卷积神经网络生成的高维特征深度编码为f_i，并得到用于空间映射回归的变换矩阵T_i；

动态定域单元，用于接收经深度编码后的特征f_i及用于空间映射回归的变换矩阵T_i，动态地选取特定区域并进行自适应矫正，生成矫正后的局部密度图