[发明专利]一种视频和无线融合的大规模人群分析方法

摘要

本发明公开了一种视频和无线融合的大规模人群分析方法，包括：获取视频和WiFi两种模态的原始数据；对两模态原始数据分别进行时空对准并得到两模态第一数据；对所述两模态第一数据进行特征提取得到两模态特征数据；对两模态特征数据进行特征融合并得到融合数据，对融合数据解码并输出人群统计结果；利用视频模态原始数据标注对所述WiFi模态原始数据进行标记；子模型及总体模型的训练。本发明针对视频数据创新地采用了结合注意力机制的CNN模型进行特征提取；利用兼顾时间单向和空间四向的2D‑RNN结构来建模二维输入特征数据，提高了人群分析精度；使用子模型预训练和单模态有限标注监督迁移的方法，解决大模型训练以及多模态标记数据获取成本过高的难题。同时，各子模型采用不同的有针对性的数据源进行预训练，整合后的模型通过微调进行优化。