[发明专利]一种基于伪标签的半监督人群计数方法及装置

说明书

本发明公开了一种基于伪标签的半监督人群计数方法及装置，包括：获取并输入人群图片训练集；分别得到每幅人群图片所对应的人群密度等级概率分布向量、预测密度图、密度图伪标签和人群密度等级聚合分数向量；依次对所有的人群图片进行损失函数计算，并监督迭代训练，以使在每一次迭代训练中，根据人群密度等级概率分布向量和人群密度等级聚合分数向量的交叉熵损失，以及，预测密度图的L2损失，来进行监督迭代训练，直至所有的人群图片都进行监督迭代训练，从而完成了对人群计数模型的训练；将待计数的人群图片输入已完成训练的人群计数模型，从而得到预测人群数量。本发明解决了现有技术中依赖大量有标记数据的局限性问题。

技术领域

本发明涉及人群计数领域，尤其涉及一种基于伪标签的半监督人群计数方法及装置。

背景技术

随着城市人口的不断增长，各公共场所如商场、地铁站、旅游景点等面临着巨大的人群压力，监控场景中的人群密度并做出合理的管理决策，是城市规划与商业规划的重要一环。特别地，随着新型冠状病毒疫情防控的常态化，对人员密集型场所进行人群密度监控的重要性日益突显。人群计数的目的是准确估计图像中的人群数量，作为一项重要的计算机视觉任务，人群计数在人群分析、人群流量监控、公共安全、城市规划等领域都有着广泛的应用价值。

人群计数任务充满了各种挑战，如极端的尺度变化、严重遮挡、视角扭曲、光照变化、背景杂乱、人群分布不均匀等。因此，人群计数是一项困难的任务。近年来，随着深度学习的快速发展，基于卷积神经网络的人群计数方法取得了重大进展，已成为目前最主流和最有效的方法。目前人群计数的常用方法是，把人群计数视为一种端到端的逐像素回归的任务，即把一张人群图片输入到模型中，输出人群密度图，把人群密度图中的每个像素值求和即可得到该图片的人群数量。

但是现有的人群计数方法都是基于完全监督范式，严重依赖于大量的有标记数据。一般地，在人群计数的数据集里，需要对人群图片中每一个人头中心点进行标记。因此，标记数据为各个人头中心点在图片中的二维坐标。通过标准化的高斯核与图片中每一个人头中心点做卷积，就可以得到真值人群密度图。在一张人群图片中，人群数量可达数百人甚至数千人，标记这种数据费时费力，使得标记数据的获取较为困难，不利于人群计数的进行。

发明内容

本发明提供了一种基于伪标签的半监督人群计数方法及装置，以解决现有技术中依赖大量有标记数据的局限性，减少人群数据标注的工作量。

为了解决上述技术问题，本发明实施例提供了一种基于伪标签的半监督人群计数方法，包括：

获取并输入人群图片训练集；其中，所述人群图片训练集包括有标记人群图片和无标记人群图片；

对所述人群图片训练集中所有的人群图片分别进行密度等级分类、密度图预测、伪标签标记和密度等级聚合，分别得到每幅人群图片所对应的人群密度等级概率分布向量、预测密度图、密度图伪标签和人群密度等级聚合分数向量；

依次对所有的人群图片进行损失函数计算，并监督迭代训练，以使在每一次迭代训练中，根据真值密度等级或伪密度等级分别对人群密度等级概率分布向量和人群密度等级聚合分数向量的交叉熵损失，以及，真值密度图或密度图伪标签对预测密度图的L2损失，来进行监督迭代训练，直至人群图片训练集中所有的人群图片都进行监督迭代训练，从而完成了对人群计数模型的训练；其中，所述真值密度等级和所述真值密度图由所述有标记人群图片的真值标注处理得到，所述伪密度等级由所述无标记人群图片处理得到；

将待计数的人群图片输入已完成训练的人群计数模型，得到待计数的人群图片的预测密度图，从而得到预测人群数量。

进一步地，在所述对所述人群图片训练集中所有的人群图片分别进行密度等级分类、密度图预测、伪标签标记和密度等级聚合之前，还包括：

将所有的人群图片输入骨干网络，分别得到每幅人群图片所对应的骨干网络特征图。