[发明专利]一种视频和无线融合的大规模人群分析方法

说明书

本发明公开了一种视频和无线融合的大规模人群分析方法，包括：获取视频和WiFi两种模态的原始数据；对两模态原始数据分别进行时空对准并得到两模态第一数据；对所述两模态第一数据进行特征提取得到两模态特征数据；对两模态特征数据进行特征融合并得到融合数据，对融合数据解码并输出人群统计结果；利用视频模态原始数据标注对所述WiFi模态原始数据进行标记；子模型及总体模型的训练。本发明针对视频数据创新地采用了结合注意力机制的CNN模型进行特征提取；利用兼顾时间单向和空间四向的2D‑RNN结构来建模二维输入特征数据，提高了人群分析精度；使用子模型预训练和单模态有限标注监督迁移的方法，解决大模型训练以及多模态标记数据获取成本过高的难题。同时，各子模型采用不同的有针对性的数据源进行预训练，整合后的模型通过微调进行优化。

技术领域

本发明涉及计算机应用技术领域，更具体的说是涉及一种视频和无线融合的大规模人群分析方法。

背景技术

伴随着高速的经济发展和快速的城市化进程，我国大中城市的人口迅速增长，城市规模不断扩大，形成了大量的地铁站、高铁站、机场、剧院、体育场馆、商业综合体等人流密集的公共场所，导致在出行和旅游高峰期间频现人流如织的场景。由于大规模人群聚集而发生的危害性事件屡有发生，人群聚集风险愈发突出，已成为政府和社会广泛关注的城市公共安全重要问题之一。

近年来也出现了少量利用WiFi实现人群监控的方法。WiFi监控方法通过使用WiFi接入点(Access Point，AP)捕获行人携带移动设备发出的Probe请求帧，进而提取移动设备的MAC地址、接收信号强度(Received Signal Strength,RSS)等信息，从而实现人群的统计和分析。由于运用WiFi嗅探技术以无感的方式实时获取移动设备携带者的时空分布信息，因此可应用于人群监控、应急管理、交通规划、客流分析等城市规划管理、公共安全和商业智能领域，具有十分广阔的市场前景。

因此，如何提供一种人数统计、密度测量、个体识别、轨迹追踪的大规模人群分析方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种视频和无线融合的大规模人群分析方法。在深入理解两种模态数据特点和差异性的基础上，分别针对性地设计不同模态数据的时空对准方法，并采取不同的特征提取子模型实现多模态数据的特征提取。将经过各子网络处理后的多模态数据特征作为两个输入源，同时训练通过信息迁移层交叉相连的两个2D-RNN模型，自适应地抽取相关跨模态特征。各子模型采用不同的有针对性的数据源进行预训练，整合后的模型再通过微调进行优化。

为了实现上述目的，本发明采用如下技术方案：

一种视频和无线融合的大规模人群分析方法，其特征在于，包括：

步骤a：获取原始数据；所述原始数据包括视频模态原始数据和WiFi模态原始数据；

步骤b：对所述原始数据进行时空对准并得到两模态第一数据；

步骤c：对所述两模态第一数据进行特征提取得到两模态特征数据，所述两模态特征数据包括：高层抽象人群时空分布特征；

步骤d：对特征数据进行特征融合并输出融合数据，对融合数据解码并输出人群统计结果；

步骤e：对所述视频模态原始数据进行手工标记，利用视频模态原始数据的标记对WiFi模态原始数据进行监督迁移标记；

步骤f：基于步骤a～d建立整体模型，基于步骤e实现所述两模态原始数据的标注，进行模型的训练。

优选的，所述视频模态数据通过摄像头捕获，所述WiFi模态数据通过WiFi嗅探器捕获。

优选的，所述步骤b包括：对视频模态数据进行时空对准和对WiFi模态数据进行时空对准；