[发明专利]一种基于视觉和WiFi的多模态分层交叉融合识别方法

权利要求书

1.一种基于视觉和WiFi的多模态分层交叉融合识别方法，其特征在于，包括步骤如下：

步骤一、多模态序列数据采集；

多模态序列数据采集包括视频行为序列图像数据采集和WiFi信号数据采集；

步骤二、多模态序列数据预处理；

多模态序列数据预处理包括视频行为序列图像处理和WiFi信号数据处理；视频行为序列图像处理用于去除冗余的视频行为序列图像，从去除冗余后的视频行为序列图像中间断性提取，获得代表性视频行为序列图像；WiFi信号数据处理用于对WiFi信号数据进行去噪、降维，生成信道状态信息相关系数矩阵，重构具有唯一性的WiFi信号数据；

步骤三、多模态序列数据特征提取与融合；

多模态序列数据特征提取与融合包括低层次隐式特征提取模块和高层次分层交叉融合模块；低层次隐式特征提取模块中通过深度学习网络分别从代表性视频行为序列图像和重构的WiFi信号数据获取低层次多模态隐式特征，包括视频行为序列图像特征和WiFi数据信号特征，再经过高层次分层交叉融合模块实现视频行为序列图像和WiFi信号数据两模态特征的互补性融合，得到融合特征；

步骤四、多模态损失优化与分类；

多模态损失优化与分类用于对视频行为序列图像特征的损失、WiFi数据信号特征的损失以及融合特征损失进行整合，确定多模态损失，并利用多模态损失优化多模态序列数据特征提取与融合中的深度学习网络，输出行为分类结果。

2.根据权利要求1所述的基于视觉和WiFi的多模态分层交叉融合识别方法，其特征在于，所述多模态序列数据预处理，具体如下：

所述WiFi信号数据，提取WiFi信道状态信息中的原始振幅信息和原始相位信息；采用天线商方法消除WiFi信号发射端和接收端之间产生的额外时变随机相位偏移；采用hampel滤波器去除由设备缺陷和周围环境造成的噪声和异常值；得到净化的WiFi信号数据后，采用PCA进行降维，过滤由同一天线对子载波间存在高相似性造成的冗余信息；进一步重构WiFi信号数据，沿着时间维度进行分割成M段WiFi信道状态信息子序列，针对每段WiFi信道状态信息子序列，分别求得不同天线对之间的相关系数矩阵并将其进行拼接，得到信道状态信息相关系数矩阵，将得到的信道状态信息相关系数矩阵与自身转置相乘获取M个WiFi信道状态信息子序列间关系，得到重构地具有唯一性的WiFi信号数据C；

所述视频行为序列图像，将对应WiFi信号数据的原有的视频行为序列图像按照帧数分为相同长度的N段视频行为子序列，在各个视频行为子序列上随机提取出一个子图像，构成一个行为序列图像样本V。

3.根据权利要求2所述的一种基于视觉和WiFi的多模态分层交叉融合识别方法，其特征在于，所述多模态序列数据特征提取与融合，具体如下：

在低层次多模态隐式特征提取中，所述神经学习网络包括视频特征提取网络3D CNN和时空网络DTNet；使用视频特征提取网络3D CNN提取行为序列图像样本V的RGB特征，得到视频行为序列图像的低层次特征f_v＝3DCNN(V)，通过由空洞卷积和时间卷积构成的时空网络DTNet提取重构的WiFi信号数据C的相关性特征，得到WiFi信号数据的低层次特征f_c＝DTNet(C)，从而得到低层次的多模态隐式特征；

在高层次多模态交叉融合中，使用基于Transformer的分层交叉融合方式，从低层次的多模态隐式特征中提取高层次特征的同时融合视频行为序列图像和WiFi信号数据两模态的高层次特征，得到融合特征；f_v,i＝CP(f_v),f_c,i×CP(f_c)，Z_i←Tf(C(f_v,i,f_c,i))，f_v,i+1＝CP(C(Z_i,f_v,i)),f_c,i+1＝CP(C(Z_i,f_c,i))，(·表示Transformer操作，C(·)表示模态维度的contact操作，CP(·代表卷积和池化操作，i表示经过CP和Transformer的操作次数。