[发明专利]一种室内人员行为非接触式协同感知方法

权利要求书

1.一种室内人员行为非接触式协同感知方法，其特征在于，包括步骤S1、S2、S3，其中，步骤S1、S2同步进行，具体方法如下：

S1获取无线感知的初步识别结果

1.1采集无线可覆盖范围内的CSI数据：

1.2使用共轭相乘、主成分分析法(PCA)对采集到的CSI进行预处理，消除噪音，提取主成分；

1.3将预处理后的CSI信号转化为多普勒频移(DFS)，同时根据达角(AoA)和反射路径范围分析出人体的位置和朝向；

1.4进行时间序列分析，生成身体坐标系速度谱特征并对其进行归一化处理；

1.5使用深度学习网络提取身体坐标系速度谱特征的高层空间特征，进行行为识别；

S2获得视觉感知的初步识别结果，具体方法如下：

2.1从多个摄像头中获取人体不同角度的视频帧信息；

2.2使用预训练的卷积神经网络(CNN)提取人体特征；

2.3联合使用两个CNN进一步提取更高层的人体特征图；

2.4评价关节点之间的相关性并进行关节点的匹配，将同一人的18个关节点连接起来；

2.5基于SMPL组合多角度的人体关节点信息，根据人体的关节点信息，使用图卷积神经网络(ST-GCN)进行行为识别；

S3使用贝叶斯模型平均处理步骤S1和步骤S2得到的初步识别结果，得到最终的行为感知结果f：

f＝w_wifif_wifi+w_cvf_cv

其中，为视觉感知结果所占权重，jp为视觉感知提取到的人体关节点的个数，f_cv为视觉感知结果，w_wifi＝1-w_cv为无线感知结果所占权重,f_wifi为无线感知结果。

2.根据权利要求1所述的一种室内人员行为非接触式协同感知方法，其特征在于，步骤1.2中对CSI数据进行预处理的具体方法如下：

1)采集到的存在噪声信号的CSI数据

其中，CSI测量值的超域m＝(i，g，k),i＝0,1,…,T-1,g＝0,1,…,F-1,k＝0,1，···，S-1；T,F,S分别是包数、子载波数和传感器数；H(m)为不含噪声的CSI测量值；Δt_i,Δf_g分别是m＝(i,g,k)和m＝(0,0,0)时，H(m)之间的时间差、频率差；∈t_i和∈f分别是收发器之间的定时偏移(TO)和载波频率偏移(CFO)；是接收器传感器的初始相位；

2)对进行降噪，选择k₀传感器作为参考传感器，计算每个传感器的CSI与k₀传感器之间的共轭相乘结果C(m)：

其中，m₀＝(i,g,k₀)；

通过将多路径信号分类为静态组P_s和动态组P_d，将共轭相乘分为

其中P_n为静态组路径信号，P_l为动态组路径信号；

3)滤除高频分量和静态分量：滤去C(m)中的第一个求和项和第三个求和项，对其中的有效项去除静态响应，可得到：当m≠m₀时，C(m)仅有为有效项，据此通过最大似然估计法获得信号参数的估计值；

4)提取主成分：应用PCA来发现CSI流之间的时变相关性，以提取CSI流的主要成分，对于使用共轭相乘和最大似然估计得到的信号的估计值，通过对该流进行长期平均计算得出每个流的常数偏移量，然后将CSI流切割为设定间隔的样本的块，并在列中排列不同CSI流的块以形成矩阵H，计算相关矩阵H^T×H，其维数为N×N，其中，N是CSI流的数量，对相关矩阵进行特征分解以计算特征向量，并使用等式h_nk＝H×q_nk构造主成分，其中,q和h分别表示特征向量和主成分，nk＝0,1,…,U,U为特征向量总数。