[发明专利]基于深度信息和显著性信息的人群计数方法及系统

说明书

本发明公开了一种基于深度信息和显著性信息的人群计数方法及系统，包括：采集指定区域的人群样本图像；将采集到的人群样本图像输入训练好的基于显著性信息和深度信息的密度图预测模型；输出人群样本图像中的总人数。将人群显著性信息引入了人群计数领域，将人头标注点作为人眼关注点，利用高斯模糊生成人群计数的视觉显著性标签，利用深度学习网络进行训练测试，得到了人群计数的视觉显著性信息，辅助人群计数的训练；利用视觉显著性信息和深度信息相结合的方式来辅助人群计数，利用显著性信息可以校正深度信息，降低没有人群信息区域造成的干扰，提高计数效果。

技术领域

本发明属于计算机视觉领域，更具体地，涉及一种基于深度信息和显著性信息的人群计数方法。

背景技术

密集人群计数的任务是估计图像或视频中包含的人物数量。随着全球人口数量的上涨和人类社会活动的增加，各地公共场所经常会出现人群大量聚集的情况，如交通枢纽和娱乐场所等，这给公共安全带来了巨大的隐患。密集人群计数任务在视频监视、交通控制和大都市安全方面应用广泛，各国研究人员开展了大量研究。人群计数的方法还可以推广到其他领域的类似任务，例如医学中显微图像的细胞数量估计、交通拥挤情况下的车辆估计和广泛的生物样本调查等。

传统人群计数方法主要可以分为基于检测和回归的方法，随着人群密度的提升，这两种方法很难处理人群之间严重的遮挡问题。由于深度学习模型具有强大的特征提取能力，基于深度学习的人群计数方法研究已经取得了很多优秀的成果。目前主流的方法是利用卷积神经网络预测原始图像的密度图，利用密度图计算出人数。

Wang等人最先将卷积神经网络(Convolution Neural Networks,CNN)引入人群计数领域，提出了一种适用于密集人群场景的端到端的CNN回归模型。模型对AlexNet网络进行改进，并且将最后的全连接层替换为单神经元层，直接预测人群数量。缺点是无法统计场景中的人员分布情况，在人群密集或者场景复杂的情况下，效果不好。Zhang等人受多分支深度卷积神经网络提出了一种多列卷积神经网络MCNN用于人群计数，每一分支网络都采用不同大小的卷积核，用来提取不同尺度目标的特征信息，减少因为视角变化形成的目标大小不一导致的计数误差。虽然多分支结构计数网络取得了较好的计数效果，但是多分支结构网络模型的复杂性较高，由此也带来了一些新的问题。比如网络模型参数繁多、训练困难，结构有冗余等问题。为此，Li等人提出了一种适用于密集人群计数的扩张卷积神经网络模型CSRNet。CSRNet没有采用以往广泛使用的多分支网络结构，而是将舍弃了全连接层的VGG16网络作为该网络的前端部分，后端则采用6层扩张卷积神经网络，构成一个单通道计数网络，大幅度减少了参数量，降低了训练难度。同时，借助空洞卷积可以在保持输入图像分辨率的同时扩大感受野的优势，保留了更多的图像细节信息，使得生成的人群密度图质量更高。

为了解决由于摄像机与人群距离不同造成的目标尺寸变化较大的问题，引入辅助信息来辅助人群计数引起了关注。Shi等人将透视信息与人群计数相结合，提高计数准确度。透视信息呈现的是整个图像的深度差异，与深度图像有一定的相似性。Xu等人使用图像的深度信息将场景分割成远景区域和近景区域，然后应用不同的机制(基于密度图和基于检测)来估计这两个区域的计数结果统计出总人数。Yang等人使用预训练的深度分支为人群计数提供深度信息，深度信息一定程度上反应了人群的密度，并且隐含了尺度变化信息，然而忽略了人群区域之外的深度信息会对计数结果造成影响这一问题。

发明内容

本发明的目的是针对以上不足，提供一种基于深度信息和显著性信息的人群计数方法及系统，利用视觉显著性信息和深度信息相结合的方式来辅助人群计数，利用显著性信息可以校正深度信息，降低没有人群信息区域造成的干扰，提高计数效果。

为实现上述目的，本发明是通过以下技术方案实现的：

第一方面，本发明提供一种基于深度信息和显著性信息的人群计数方法，包括：

采集指定区域的人群样本图像；