[发明专利]基于编解码-跳跃连接尺度金字塔网络的人群计数方法

说明书

本发明公开了一种基于编解码‑跳跃连接尺度金字塔网络的人群计数方法。本发明提出了一种深度卷积神经网络结构，称为ED‑SSPNet，由特征提取编码器(FEE)和特征映射解码器(DMD)两部分组成。FEE整合了尺度聚合模块中提取的特征，利用加权的跳跃连接的方式获取多尺度信息和上下文信息，保证信息不丢失。DMD采用反卷积和融合操作生成包含细节信息的特征，得到高质量的密度图，达到精确计数的目的。结果表明，这种方法具有更好的鲁棒性和自适应能力。

技术领域

本文发明涉及人群图像计数方法，具体来讲是一种基于编解码-跳跃连接尺度金字塔神经网络的人群计数方法，属于人群图像处理技术领域。

背景技术

密集人群图像通过全卷积网络提取特征并映射生成密度图，进而积分得到人数，是当前进行人群计数最流行的方法。虽然相关的研究已经取得了很好的效果，但是这项任务仍面临巨大的挑战。在采集图像过程中，图像中的人群受到角度，光照，重叠等因素的影响，会引发透视畸变，数据分布等方面的问题；在使用深度卷积网络处理过程中，随着层数的增加，图像特征不断被提取到低分辨率特征图上，尺度信息和上下文信息等会逐渐丢失,导致不能生成高质量密度图。针对这种情况，目前主要的人群计数的处理方法主要有基于目标提取的方法，基于直接回归的方法，基于密度图回归等方法。但是这些方法难免出现计数效果不佳，特征提取困难，尺度问题难以解决等问题。所以较好的处理方法是建立端对端的处理方法，通过深度学习建立从输入到输出，让模型自动学习人群图像特征，从而给出准确的计数。

发明内容

本发明的目的是针对现有技术的不足，提供一种基于编解码-跳跃连接尺度金字塔神经网络的人群计数方法，以解决现有的使用深度学习进行人群计数工作中的多尺度和上下文信息丢失的问题。

本发明解决其技术问题所采用的技术方案如下：

步骤(1)获取人群数据集，将数据集中的每张图片，根据数据集中带有的人头位置标注，利用二维高斯卷积核，生成对应的人群密度图标签，然后进行数据增强操作；

步骤(2)通过加权跳跃连接的方式将四个级联尺度金字塔模块进行信息整合，构建特征提取编码器(FEE)；

步骤(3)通过反卷积和融合的方式，构建密度图解码器(DMD)；

步骤(4)FEE和DMD进行组合，构建ED-SSPNet模型；

步骤(5)将人群图像数据输入训练好的ED-SSPNet模型，输出对应图像的密度图，对模型输出的密度图积分，统计出图像中人群数量。

本发明有益效果如下：

本发明提出了一种深度卷积神经网络结构，称为ED-SSPNet(具有跳跃连接的标度金字塔网络的编译码器)。ED-SSPNet由特征提取编码器(FEE)和密度映射解码器(DMD)两部分组成。FEE整合了尺度聚合模块中提取的特征，利用加权的跳连接获取多尺度信息和上下文信息，保证信息不丢失。DMD采用反卷积和融合操作生成包含细节信息的特征，得到高质量的密度图，达到精确计数的目的。结果表明，这种方法具有更好的鲁棒性和自适应能力。

附图说明

图1是本发明的整体实施方案流程图

图2是本发明的CSPM模块架构图

图3是本发明的FEE部分跳跃连接示意图

图4是本发明的ED-SSPNet模型整体架构示意图；

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1是本发明的整体实施方案流程图，一种基于编解码-跳跃连接尺度金字塔神经网络的人群计数方法，包括以下步骤：