[发明专利]基于光流融合型深度神经网络的人群密度估计方法及装置

说明书

本发明的目的在于提供一种能够减小图像模糊带来的不良影响、减小人群群体特征干扰信息的人群密度估计方案，具体提供了一种基于光流融合型深度神经网络的人群密度估计方法及装置。其中，光流融合型深度神经网络模型包括空洞卷积子网络以及注意力子网络，空洞卷积子网络以及注意力子网络各含有多个卷积层，位于空洞卷积子网络中的多个卷积层以及位于注意力子网络中的至少一个卷积层相互配合形成不同的融合模块，模型中包含多个与融合模块分别对应的连接层，用于将各个融合模块中的注意力子网络数据流经归一化后矩阵加权到空洞卷积子网络数据流后得到的特征空间。

技术领域

本发明属于计算机视觉、人工智能技术领域，涉及一种复杂场景下的人群密度估计方法及装置，具体涉及一种基于光流融合型深度神经网络模型的人群密度估计方法及装置。

背景技术

在当前机器学习技术及计算机硬件性能高速提升的情况下，近年来计算机视觉、自然语言处理和语音检测等应用领域取得了突破性进展。在城市管理等领域中常有对海量的视频数据进行分析的需求，例如需要根据城市监控视频进行人群态势分析，而其中的人群密度估计更是重中之重，对于城市规划、公众安全管理等具有重要作用。

人群密度估计的实现方法目前基本分为两种：一种是基于目标检测的方式，即检测出人头所在位置并进行计数；一种是基于回归密度图的方式，即根据人群所在位置基于密度图计算出人群数量。其中，目标检测的方式是基于人的个体特征，适用于场景中人数较少的情况；回归密度图的方式是基于人的群体特征，适用于场景中人数较密集的情况。

实际应用过程中，早期的人群计数方法关注人的头部信息，利用传统的机器学习进行计算；随着人工智能的发展，近十年来，越来越多的研究人员开始利用回归人群密度图的方式进行研究，关于人群密度估计的研究课题层出不穷，近年来每年都有最新的研究成果和实际应用发表和公布。不仅如此，人群密度估计作为人群态势分析的一个基础，也不断被应用到很多实际任务中华，例如智能视频监控、人流量计算等。然而，现有技术的多种人群密度估计方法的准确率仍然不能完全满足实际应用的要求，例如，仍达不到理想的高准确度。

为了提高人群密度估计的准确度，目前常用的方法是采用不同卷积核增大感受野的模型来训练数据。然而，一方面，目前应用于人群密度估计的模型训练数据集分辨率较低，图像模糊导致模型学习到的特征不太好；另一方面，目标图像中有很多类似于人群的群体特征的干扰信息，导致模型训练误差较大。

发明内容

为解决上述问题，提供一种能够减小图像模糊带来的不良影响、减小人群群体特征干扰信息的人群密度估计方案，本发明提出了一种光流融合型深度神经网络，并提出了基于该光流融合型深度神经网络的人群密度估计方法及装置。其中，光流融合型深度神经网络模型能够利用视频帧间人群的运动信息所产生的光流图来定位视频图像中人群的大概率性区域(即图像中获取注意力的部分区域)，并结合该区域的特征获得预测密度图。

具体地，本发明提供了一种基于光流融合型深度神经网络的人群密度估计方法，其特征在于，采用光流融合型深度神经网络获得待测视频中的预测密度图，包括如下步骤：步骤S1，对待测视频进行预处理从而获得对应的真实密度图以及光流图；步骤S2，搭建光流融合型深度神经网络；步骤S3，采用训练集对步骤S2构建的光流融合型深度神经网络模型进行模型训练；步骤S4，将步骤S1中获得的真实密度图以及光流图分别输入完成了步骤S3的训练的光流融合型深度神经网络模型从而获得预测密度图，并基于该预测密度图进行计算获得待测视频的人群密度，其中，光流融合型深度神经网络模型包括空洞卷积子网络以及注意力子网络，空洞卷积子网络以及注意力子网络各含有多个卷积层，位于空洞卷积子网络中的多个卷积层以及位于注意力子网络中的至少一个卷积层相互配合形成不同的融合模块，光流融合型深度神经网络模型中包含多个与融合模块分别对应的连接层，该连接层用于将各个融合模块中的注意力子网络数据流经归一化后矩阵加权到空洞卷积子网络数据流后得到的特征空间。