[发明专利]一种基于Transformer的WiFi人体手势识别方法、电子设备及存储介质

说明书

本发明提供一种基于Transformer的WiFi人体手势识别方法、电子设备及存储介质，包括：接收人体手势变化过程中的WiFi信道状态信息；基于WiFi信道状态信息，得到BVP数据；进行BVP数据处理；利用处理好的BVP数据训练Transformer模型；利用训练好的模型完成人体手势识别。本发明利用从WiFi信道状态信息中获取的BVP数据，捕捉BVP数据与对应人体手势的时序相关性，在人体手势种类不断增加、数据复杂度不断上升的情况下，依旧保证稳定的域内与跨域人体手势识别。

技术领域

本发明属于手势识别领域，具体涉及一种基于Transformer的WiFi人体手势识别方法、电子设备及存储介质。

背景技术

近年来，我国商业WiFi热点部署量不断上升，到目前，部署的商业热点数量已经超过200万，且WiFi设备具有分布广泛，成本低廉，容易部署等特点。人体行为作为日常生活中的重要组成部分，可以帮助我们传达信息，对人体行为感知与识别技术进行研究有重要的现实意义和研究意义。行为识别已经成为当下WiFi智能感知技术的热点，如步态、呼吸、手势等。WiFi感知的基本原理就是当信号在传播过程中遇到人体，会发生反射、折射、衍射以及散射等现象，对信号的正常传播产生扰动，通过分析接收信号，检测信号变化特征，从而感知信号传播过程中所遇到的人体的状态。基于WiFi的手势识别主要是利用WiFi信道状态信息(CSI)实现，CSI记录了WiFi通信链路的细粒度信息，由不同人体动作而引起的细微的传播路径变化能通过分析CSI识别。但CSI中不仅含有手势信息，同时也包含了大量的环境特征，因此在跨区域的场景下使用CSI识别难以取得好的效果。而在保证同区域下的手势识别准确性的前提下，建立高效、准确的跨域识别模型，能为人体行为识别方案的完善做出巨大贡献。

《Widar3.0:Zero-Effort Cross-Domain Gesture Recognition With Wi-Fi》将CSI信号中的多普勒频移分解为以人体为原点各个方向上的速度分量，基于多个链路的多普勒频移曲线提取出了独立于环境因素的不同速度下概率分布的坐标速度特征(body-coordinate velocity profile，BVP)。并基于BVP的特征，将门控制循环单元(GRU)与卷积神经网络(CNN)相结合，提出了具有跨域识别能力的人体手势识别模型(此模型在下文中简称GRU-CNN模型)。

在利用BVP进行跨域人体手势识别时，GRU-CNN随着识别手势种类的增加，识别的准确率会逐渐降低。识别常用6种手势的准确率在90％左右，但手势种类提高到22种后，识别准确率下降到了70％左右，说明GRU-CNN模型并未具有很强的稳定性。通过实验与查阅资料，利用CNN提取空间特征并对时间维度建模难以适应数据复杂度太高的识别任务，BVP图像中的高亮点值对应手部运动速率，且BVP数据具有相邻帧相关性更大、高亮点的变化趋势与手势运动趋势相对应、逆变化趋势的高亮点更有可能是噪声等特征，利用这些特征可以实现识别率的提升，但中存在大量的噪声数据，GRU-CNN难以消除过多的噪声数据对识别结果的影响。由此可见利用BVP完成人体手势识别能一定程度上解决跨域识别的难题，但在数据复杂度较高的情况下，仍然难以达到令人满意的识别率。

发明内容

有鉴于此，本发明的目的在于针对现有技术中存在的问题，提供一种基于Transformer的WiFi人体手势识别方法、电子设备及存储介质，以保证在数据复杂度较高的情况下依旧保证稳定的域内与跨域人体手势识别。

为实现本发明的目的，本发明采用如下技术方案：

一种基于Transformer的WiFi人体手势识别方法，包括：

接收人体手势变化过程中的WiFi信道状态信息(CSI)；

基于WiFi信道状态信息，得到BVP数据；

进行BVP数据处理；

利用处理好的BVP数据训练Transformer模型；