[发明专利]一种基于视觉和WiFi的多模态分层交叉融合识别方法

说明书

本发明属于非接触式人体行为技术领域，公开了一种基于视觉和WiFi的多模态分层交叉融合识别方法，本方法利用常见的商用摄像头和WiFi信号采集设备对人体行为进行采样，配合特有的深度学习网络对视频和WiFi信号进行辨别性特征的提取，利用多模态分层交叉融合方法挖掘两种模态的互补性信息关系，实现异构信息的互补，剔除信息间的冗余性，弥补单模态在不利情况下(障碍物、光线灰暗、视角不当等)识别不精准等问题，实现人体动作的高精度、高鲁棒识别。填补非接触感知领域多模态融合和互补的空缺，为基于深度学习的无源感知与识别打造应用示例。该方法可广泛应用到精准看护、饮食监测、和入侵检测等领域。

技术领域

本发明涉及非接触式人体行为技术领域，尤其涉及一种基于视觉和WiFi的多模态分层交叉融合识别方法。

背景技术

人体动作是人类日常生活的体现，对其自动识别是人们生活规律和生活习性研究的基础，是精准看护、健康医疗、安全监测等研究的支撑，在城市公共安全管理、养老院、数字娱乐等领域具有广阔的应用前景，深受工业界和学术界的欢迎。作为最常见的一种识别技术，基于视频的人体行为识别取得了快速发展。视频RGB数据以直观的外观特征，包括颜色、纹理和形状等特征，以及人体周围环境信息，可以更好地辅助计算机识别与周围环境交互作用的行为。此外，随着视频数量的指数级增长、计算能力的增强和机器学习算法的发展，基于视频的人体行为识别进一步受到了众多研究者的青睐。而无线感知技术的出现尤其是WiFi为人体动作识别提供了新的思路，呈现了一种连续的、非侵入性的感知方式。研究者可以利用现存的WiFi通讯设施采集、分析和识别无处不在的WiFi人体行为信号，使目标在无需携带任何特定设备的情况下被准确监测。此外，WiFi信号不受光线限制且有穿墙能力的优势加速推进了其在人体动作识别领域的研究地位。

然而，基于视频和WiFi两种单模态的人体行为识别仍面临着许多挑战。在多数情况下，视觉信息作为直观信号，可以准确地识别动作，但是在光线微弱、物体遮挡和视角不当等部分场景下是不利于视频监测的。另外，WiFi信号易受硬件噪声、环境部署和运动速度等影响，造成信号不稳定，从而无法有效的识别目标动作。这些存在的问题有可能会降低人机交互游戏的体验感，更可能不利于独居老人、儿童的异常行为监测。但是，WiFi信号对光线要求低且可以穿墙的能力是可以作为视频信息强有力的辅助信息来弥补视频的这些缺陷，而视频丰富且相对稳定的特征信息可以反过来辅助WiFi信号。因此，视频和WiFi信号的多模态融合可以充分互补信息，弥补单一模态预测不足的问题，成为人体动作识别领域一种有效的技术途径。目前，基于视频和WiFi信号融合的人体行为识别方法要么依赖于基于决策层的简单融合，如“Lang Deng,Jianfei Yang,Shenghai Yuan,Han Zou,ChrisXiaoxuan Lu and LihuaXie.GaitFi:Robust Device-Free Human Identification viaWiFi and Vision Multimodal Learning[J].IEEE Internet of Things Journal.2023,10(1):625-636.”；要么将两种模态深层次特征映射到公共空间，如“Jun Guo,Mei Shi,Xingwu Zhu,Wei Huang,Yi He,Weiwei Zhang,and Zhanyong Tang.Improving humanaction recognition by jointly exploiting video and WiFi clues[J].Neurocomputing.2021,458(C):14-23.”但是模态之间依然没有信息共享，不能有效利用多模态特征之间的互补性。

发明内容