[发明专利]一种基于Kinect与WiFi数据联合的复杂环境中的行为识别的方法

权利要求书

1.一种基于Kinect与WiFi的信息联合目标行为识别方法，包括以下步骤：

步骤一：假设WiFi设备天线个数为M，子载波个数为N，利用Intel5300网卡获取WiFi信号CSI信息，将第l个数据包表示为TX_l，l为正整数，数据包长度为L，第l(1≤l≤L)个数据包表示为TX_l：

TX_l＝(tx_l,1,…,tx_l,M)

其中，tx_l,m表示第m(1≤m≤M)根天线的各个子载波上的CSI数据，即tx_l,m＝(tx_l,m,1,…,tx_l,m,N)，tx_l,m,n表示第l(1≤l≤L)个数据包第m(1≤m≤M)根天线，第n(1≤n≤N)子载波上的CSI数据；同时，利用Kinect采集深度图像数据，在此基础上，通过OpenCV处理深度图像数据获取骨节数据，第i(1≤i)骨节数据可以表示为RX_i：

RX_i＝{(x_i,1,y_i,1,z_i,1),(x_i,2,y_i,2,z_i,2)L(x_i,20,y_i,20,z_i,20)}

步骤二：对骨节数据进行预处理，首先对骨节数据进行坐标归一化处理，消除不同体型目标的差异；将最接近于人体中心的椎关节点作为坐标原点，表示为点P_o(x_o,y_o,z_o)；设需要进行坐标转换的关节点为P_c(x_c,y_c,z_c)，则转换后的点坐标为：

其中，y_max分别为动作序列中所有头部关节的最大值，y_min为所有足关节的最小值，L₀为归一化人体高度；

其次，基于累积运动能量AME(Accumulated Motion Energy)算法进行运动帧提取，骨节数据每一帧为3×20的坐标矩阵，计算帧与帧之间的能量差，即

其中，表示第i帧数据中的第j个骨节点的v维坐标值；

再次，进行骨节数据特征提取；通过分析提取的有效关节点坐标数据，包括肩关节、肘关节、膝关节和椎关节，计算肩关节、肘关节和膝关节的关节角以及肘关节、膝关节和颈关节与椎关节的模比值；设关节坐标为P_g(x_g,y_g,z_g)，其相邻两关节坐标为P_i-1(x_i-1,y_i-1,z_i-1)、P_i+1(x_i+1,y_i+1,z_i+1)，则该关节的关节角为

对于关节P_o的模比值，设该关节坐标为P_φ(x_φ,y_φ,z_φ)，椎关节坐标为P_o(x_o,y_o,z_o)，颈关节坐标为P_χ(x_χ,y_χ,z_χ)，则该关节的模比值为：

最后，将获取的关节角矩阵与模比值矩阵进行拼接，形成骨节数据特征矩阵；

步骤三：采用巴特沃斯低通滤波器对CSI信号进行低通滤波；在此基础上，为了降低静态环境误差的影响，对滤波后的CSI数据进行平滑归一化，平滑窗口长度设定为W，得到数据

其中，表示第l个CSI数据包，然后，计算CSI数据幅值的方差，设定方差峰值三分之一处为行为判决门限，从而提取行为数据；之后，使用K均值聚类算法对行为数据中M根天线上的共M×N个子载波上的CSI样本数据x_i进行聚类，其中x_i可以表示为：

x_i＝(x_1,i,…,x_l,i,…,x_L,i)

其中，x_l,i＝tx_l,m,n，且满足条件：i＝(m-1)·N+n；根据骨节数据特征维度确定聚类中心向量的数量k，随机选取k个数据样本作为初始聚类中心，将聚类中心向量表示为μ_j(1≤j≤k)；然后，根据每个数据样本与每个聚类中心的欧氏距离，即||x_i-μ_j||²(1≤i≤M×N,1≤j≤k)，按距离最小的准则将数据样本划分到距离最小的聚类中心所对应的类，将每个类别中所有数据样本的均值作为该类别的新的聚类中心；聚类的目标是使各类聚类中心最优化，即最小化目标函数J：

接下来，判断聚类中心和目标函数J是否发生改变，若不变，则新的聚类中心为最优解，若改变，则对每个数据样本重新按照距离最小准则分类并更新聚类中心，重复至新的聚类中心和目标函数的值均不发生改变为止；

步骤四：分别提取CSI的聚类中心向量和骨节数据的统计特征(取方差、均值、中位值绝对偏差、信息熵、四分位数、极差和峰峰)，构成维度为k×7维的信息联合行为识别输入特征，k为聚类中心的个数；

步骤五：对同一动作的不同设备获取的数据特征标注相同的标签，构建分类器对提取的k×7维输入特征进行分类，从而实现Kinect与WiFi的信息联合目标行为识别。