[发明专利]人群计数及密度估计方法、装置、存储介质及终端

说明书

本发明提供人群计数及密度估计方法、装置、存储介质及终端。首先，从无标签人群图像数据集中随机选取多个图像进行标注，生成相应的人群密度标签，并加入到有标签人群图像数据集中；训练人群计数及密度估计模型，直至该模型收敛；使用概率加权选择策略从剩余的无标签人群图像数据集中选取多个图像，生成相应的人群密度标签，并加入到有标签人群图像数据集中；不断迭代优化，直至模型达到性能要求；在模型中加入基于特征混合和梯度反转的对抗学习分支，并使用有标签人群图像和无标签人群图像对模型进行训练；对待预测人群图像进行人群计数及密度估计。本发明从根本上降低人群图像的标注工作量，提升了模型的泛化性能。

技术领域

本发明涉及图像处理技术领域，特别是涉及人群计数及密度估计方法、装置、存储介质及终端。

背景技术

近年来，卷积神经网络在人群计数及密度估计领域取得了巨大的成功。但是卷积神经网络一般具有千万数量级的训练参数，通常需要大量的有标签数据以防止模型过拟合。在构造人群计数及密度估计任务的数据集时，一般需要在每张图像中的每个人头中心进行标记，记录其坐标位置。由于每张人群图像可能存在大量的人头，故该标注方式相当耗时费力。当前主流的方式是，对采集到的所有人群图像进行标注，并使用全监督学习的方式来训练模型，但是这不可避免地需要耗费大量的精力甚至财力来用于数据的标注。因此，对于因某种原因无法进行大量人群图像标注的场景，全监督学习方法可能会因为缺乏足够的标注数据，导致模型效果急剧下降甚至崩溃。因此，卷积神经网络在缺乏有标签图像的人群计数及密度估计领域的应用有待进一步研究。

在现实场景中，人群图像能够从视频监控等设备中大量获取，可用于提供最直观的人群分布信息，在安防、商业发现、人数统计等方面有着重要的应用。一般情况下，使用某种特征分布或者镜头参数下的人群图像训练出来的模型，在其他的场景中其性能会出现下降甚至崩溃。所以在实际应用中，为了获得最优的性能，通常会采集并标注最接近于未来使用场景下的人群图像来用于模型训练。但是同时，如果对采集到的图像均进行标注，不可避免地会导致大量的标注工作。相关研究发现，在模型训练中，很多训练样本仅仅提供了冗余的训练作用，甚至会危害到模型训练。所以，如果能够通过某种方法尽可能地选择出最利于模型训练的数据并充分利用无标签数据，将会从根本上减少标注工作甚至取得比全标注更优异的效果。

然而，从大量无标签图像中挑选出模型最需要的图像并充分利用无标签图像是一项极大的挑战。目前，在人群计数及密度估计领域，从无标签图像中筛选图像进行标注的相关研究很少，仅有少量研究针对如何充分利用无标签图像进行了一定的探索：例如，使用生成式对抗网络，通过在模型中增加对真实图像和模型生成的虚假图像的二分类分支，使得无标签的真实图像可以参与到模型的训练过程中，提高模型公有部分的泛化性能；提出了一种特殊的多级自编码结构，使得模型中的绝大多数参数可以由无标签图像来训练完成，而仅有少量的模型参数需要使用有标签图像进行训练；通过对人群图像的选区计数实现自监督排序损失，该损失函数可以同时在有标签图像和无标签图像上使用；利用额外的人造图像以及领域自适应技术提高模型性能。但是，这些研究工作仍存在着许多不足。首先，这些工作所带来的提升都较为有限，达不到实用效果。其次，这些工作为了在训练过程中引入无标签数据，可能会加入了一些较为不稳定的模块，使得整个模型难以训练或是训练时间过长，不适用于实际场景。此外，主动学习虽然在人群计数及密度估计领域的研究几乎一片空白，但已经在众多领域展示出其降低数据标注工作量和加速模型训练效率的优势。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供人群计数及密度估计方法、装置、存储介质及终端，用于解决现有技术中的问题。