[发明专利]一种基于遮罩引导的人群密度估计方法及装置

权利要求书

1.一种基于遮罩引导的人群密度估计方法，用于估计待测图像的人群密度，其特征在于，包括如下步骤：

步骤S1，对所述待测图像进行预处理获得预处理图像；

步骤S2，搭建基于遮罩引导机制的卷积神经网络模型；

步骤S3，将包含多张训练图像的训练集输入步骤S2搭建的所述卷积神经网络模型，对该卷积神经网络模型进行训练得到训练完成的所述卷积神经网络模型；

步骤S4，将所述预处理图像输入步骤S3训练完成的所述卷积神经网络模型，得到各个所述预处理图像中的人群密度结果并进行输出，

其中，所述卷积神经网络模型包括遮罩引导模块、分块预测模块以及特征混合预测模块，

所述分块预测模块包括稀疏人群预测网络层、稠密人群预测网络层以及骨干网络层，

所述遮罩引导模块将所述预处理图像分离出稀疏人群图层、稠密人群图层以及混合人群图层并分别输入所述稀疏人群预测网络层、所述稠密人群预测网络层以及所述骨干网络层，

所述稀疏人群预测网络层对所述稀疏人群图层进行处理，使用U型深层网络学习稀疏人群的人体形状进行计数，输出稀疏人群特征图；

所述稠密人群预测网络层对所述稠密人群图层进行处理，使用过滤器，输出稠密人群特征图；

所述骨干网络层对所述混合人群图层进行处理，使用在Image预训练的ResNet结构，输出整体人群特征图，

所述特征混合预测模块包括特征混合预测层，该特征混合预测层将所述稀疏人群特征图与所述整体人群特征图混合，将稠密人群特征图与整体人群特征图混合，再对得到的两个混合图像进行混合得到特征混合图像，即密度图，最后对所述密度图进行预测得到人群密度。

2.根据权利要求1所述的基于遮罩引导的人群密度估计方法，其特征在于：

其中，步骤S1中的所述预处理为对所述待测图像进行降采样处理。

3.根据权利要求1所述的基于遮罩引导的人群密度估计方法，其特征在于：

其中，构建基于遮罩引导机制的所述卷积神经网络模型包含的模型优化器为Adam，学习率为十的负五次方，

所述步骤S3包括如下子步骤：

步骤S3-1，将所述训练集中的各个所述训练图像依次输入构建好的所述卷积神经网络模型并进行一次迭代；

步骤S3-2，采用所述卷积神经网络模型的每次迭代的最后一层的模型参数分别计算出损失误差，

步骤S3-3，将计算得到的所述损失误差反向传播，从而更新所述卷积神经网络模型的模型参数；

步骤S3-4，重复步骤S3-2至步骤S3-3直至达到训练完成条件，得到训练后的基于遮罩引导机制的所述卷积神经网络模型。

4.根据权利要求3所述的基于遮罩引导的人群密度估计方法，其特征在于：

其中，所述训练完成条件为卷积神经网络模型的各层的所述模型参数收敛。

5. 一种基于遮罩引导的人群密度估计装置，其特征在于，包括：

预处理部，对待测图像进行预处理获得预处理图像；以及

密度预测部，用于从所述预处理图像中预测出人群密度结果并进行输出，该密度预测部包含一个训练完成的基于遮罩引导机制的卷积神经网络模型，

其中，所述卷积神经网络模型包括遮罩引导模块、分块预测模块以及特征混合预测模块，

所述遮罩引导模块将所述预处理图像根据所述人群密度的稠密程度进行分层，并输入所述分块预测模块中的多个与所述稠密程度相对应的预测网络层，

所述分块预测模块包括稀疏人群预测网络层、稠密人群预测网络层以及骨干网络层，

所述遮罩引导模块将所述预处理图像分离出稀疏人群图层、稠密人群图层以及混合人群图层并分别输入所述稀疏人群预测网络层、所述稠密人群预测网络层以及所述骨干网络层，

所述稀疏人群预测网络层对所述稀疏人群图层进行处理，使用U型深层网络学习稀疏人群的人体形状进行计数，输出稀疏人群特征图；

所述稠密人群预测网络层对所述稠密人群图层进行处理，使用过滤器，输出稠密人群特征图；

所述骨干网络层对所述混合人群图层进行处理，使用在Image预训练的ResNet结构，输出整体人群特征图，

所述特征混合预测模块包括特征混合预测层，该特征混合预测层将所述稀疏人群特征图与所述整体人群特征图混合，将稠密人群特征图与整体人群特征图混合，再对得到的两个混合图像进行混合得到特征混合图像，即密度图，最后对所述密度图进行预测得到人群密度。