[发明专利]一种基于迁移学习和场景感知的跨域自适应人数统计方法

说明书

本发明涉及一种基于迁移学习和场景感知的跨域自适应人数统计方法及系统，其方法包括：S1：将源域图像和目标域图像组成的样本对，训练基于风格迁移学习的数据增强网络，对输出的图像进行四项约束度量，得到源域以及目标域虚假图像；S2：将源域真实图像及目标域的虚假图像，输入场景感知分类器以及多分支密度估计器，对人群密度进行预测；S3：根据转化率指标，对数据增强网络和多分支密度估计器进行自适应调整。本发明通过数据增强构建低层数据关联，利用联合训练构建高层知识桥梁；利用场景感知预测图像隶属于不同场景的概率，提供感知权重，以加权融合的方式实现高适应性的人群密度估计，保证模型的泛化性和适应性。

技术领域

本发明涉及计算机视觉领域，具体涉及一种基于迁移学习和场景感知的跨域自适应人数统计方法及系统。

背景技术

人数统计是计算机视觉领域的基础研究问题，也是监控视频智能分析中的一个关键任务，特别是对交通管控、异常预警和流量分析等应用至关重要。它主要集中于利用智能算法自动估计真实监控视频或图像内的人群密度。作为一个有研究价值的问题，已经吸引了众多工业和学术界的关注，许多有创新性的方法也相继被提出，极大地促进了其快速发展。例如，Wang等人首次引入卷积结构所提出的端到端人数统计框架，Zhang等人设计的多列卷积结构等。在这些方法中，深度学习对人数统计的有效性得到了充分认证。为此在其基础上，Liu等人提出了包含检测和回归分支的DecideNet，Li等人提出了重点关注高密度场景的CSRNet，Sindagi等人提出了融合从上到下以及从下到上两种特征的网络，通过多任务、多尺度等设计在一定程度上进一步推进了在封闭有限闭集上的人数统计精度。

然而由于训练集合范围有限、实用数据广泛且难以标注等原因，当前人数统计相关的技术或平台应用于真实开放的监控场景时，都面临着泛化能力不足的制约。这意味着在开放的真实环境内，需要不断改进算法模型，来适应跨域数据及多类型场景。

实际上，域适应问题已经在分割、检测、目标重识别等许多其他的视觉任务中被探索。例如Sankaranarayanan等人就采用产生性对抗网络(Generative AdversarialNetworks,GANs)来缓解源域与目标域之间的数据分布差异。Inoue等人提出了弱监督训练方法实现域适应。Deng等人和Zhong等人则引入了迁移学习。所有这些方法的原理在于通过迁移学习，来建立源域与目标域之前的知识转移桥梁，从而从本质上改善在不同任务中模型的泛化能力。这些创新及贡献都离不开GANs的快速发展。2019年，Wang和Gao等人相继提出了SeCycleGan和DACC处理域适应人数统计，通过合成样例增强数据与原始数据的联合训练，迁移在有标注源域获得的密度估计知识，并获得了显著的泛化能力提升。但是一个关键的问题被忽略了，即合成图像与真实监控图像在光照、场景等方面存在诸多不同，这导致对场景变化本就敏感的人数统计任务极易陷入局部优化。更糟糕的是，合成数据与真实数据间的差异有时比不同相机间真实数据的差异还要大，并且合成数据的存储空闲及生成消耗极高。

因此，如何设置真实闭合数据为源域，切实有效的建立其与实际开放目标域之间的数据关联，以实现有利于人数统计的知识迁移成为一个亟待解决的问题。

发明内容

为了解决上述技术问题，本发明提供一种基于迁移学习和场景感知的跨域自适应人数统计方法及系统。

本发明技术解决方案为：一种基于迁移学习和场景感知的跨域自适应人数统计方法，包括：

步骤S1：将源域图像和目标域图像组成的样本对，用于训练基于风格迁移学习的数据增强网络，对输出的图像进行风格相似性损失L_SSC、内容相似性损失L_CTC、循环重建一致性损失L_CYC以及统计相似性损失L_CSC的四项约束度量，得到源域以及目标域虚假图像；