[发明专利]一种复杂环境下的拥挤度分类方法

说明书

本发明公开了一种复杂环境下的拥挤度分类方法，包括：建立遮挡物检测模型，采用标注好的遮挡物数据集，训练遮挡物检测模型；将采集的监控图像输入训练好的遮挡物检测模型，得到描述图像中遮挡物空间位置的二值掩码；建立图像修补模型，加载在图像数据集上已训练完全的模型参数；输入遮挡物检测模型输出的二值掩码和原始监控图像，得到去遮挡的图像；建立行人检测模型，加载模型在人群计数数据集上已训练完全的模型参数；输入输出的图像，检测图像中的人数，确定拥挤分类。本发明克服了现有方法在复杂遮挡环境下拥挤检测的局限性，通过识别遮挡区域和修补填充，从而提高了复杂遮挡环境下拥挤分类的准确率。

技术领域

本发明涉及一种复杂环境下的拥挤度分类方法，属于图像、视频大数据智能检索技术领域。

背景技术

随着社会和经济的稳定发展，我国经济已由高速增长转变为高质量发展。城市化的不断推进，城市中的人口密度持续增加。交通枢纽、大型活动现场及大型商场等公共场所发生人群拥挤、人群拥堵等现象也越来越多，由于人群过度的拥挤拥堵造成的隐患也越来越多。监控视频包含了大量的信息，但这些的信息并未充分利用。视频监控大量的布置，给我们统计人群的详细息、智能预测、智能管理公共区域提供了基础，使我们可以获得实时，准确的各种区域人群信息。因此，如何能快速准确的从监控资源中提取有效的人群信息成为一个重要的研究方向。

传统的获取人群信息的方法主要是采用人工的方法，人工统计不但消耗了大量的人力物力，而且由于人群的流动性及人工目视的缺陷，并不能准确的统计人的数量。近些年来，随着计算机视觉和深度学习技术的快速发展，深度学习在目标检测、图像分类以及图像分割等领域取得较为出色的效果。很多深度学习的方法逐渐迁移到人群拥挤分类问题上。根据使用的技术基本可以分为两类：基于目标检测和基于人群计数。基于目标检测的方法往往使用在人数较少，场景较小的情况下，例如，车站入口，地铁内部等小规模场景。而基于人群计数的方法往往适用于大规模集会，人员十分密集的情况，例如，大型露天演唱会，大型集会等。这些基于深度学习的方法优点是速度快，无需手工设计特征，而且具有十分强大的表达能力。缺点是需要大量的标注数据来训练模型，训练耗时长。现有的方法在空旷场景下或者干扰较少的情况下可以取得很好的效果，但是如果场景中存在复杂干扰的情况下，例如，公交车内部扶手和吊环，地铁内的栏杆，由于拍摄视角原因，在监控图像中会对行人图像造成部分遮挡甚至完全遮挡，从而导致现有模型检测准确率下降。

发明内容

本发明目的是提供了一种复杂遮挡环境下的拥挤分类及系统实现，本发明通过识别遮挡区域，图像修补填充，去除遮挡对于行人检测的影响，从而提高了复杂遮挡环境下拥挤分类的准确率。

本发明为实现上述目的，通过以下技术方案实现：

(1)图像预处理：将每张监控图像的分辨率设为256x256；

(2)建立遮挡物检测模型：

①创建Mask R-CNN模型，加载数据集上预训练的模型参数；

②网络模型前向传播，将图像和标注信息输入网络，首先经过ResNet-50提取图像特征，然后再经过FPN模块提取图像的多尺度特征，经过RPN模块获得获选框，然后再经过RoI Align模块和全连接层等得到最后的分类、分割以及掩码；

③更新模型参数，根据图像的标注信息和步骤②的结果，分别进行边框回归、分类损失计算和分割损失计算，并通过梯度反向传播更新参数；损失计算公式如下所示，

L＝L_cls+L_box+L_mask

L_cls代表分类损失，是一个二类对数损失，L_box代表边框回归损失，是一个smoothL1损失，L_mask代表分割误差，是一个平均二值交叉熵损失，重复②③过程直到达到预设的终止条件；