[发明专利]一种基于无线射频信号的细粒度人体姿态估计方法

权利要求书

1.一种基于无线射频信号的细粒度人体感知方法，其特征在于，包括以下步骤：

1)系统部署及模型初始化：采用无线发射端和无线接收端建立波形稳定的WiFi场，同时在无线发射端设置与无线发射端时间戳对准的同步相机。

2)人体状态数据采集：探测目标在步骤1建立的WiFi场中活动，无线接收端接收穿过探测目标的WiFi信号，以及在探测目标或周围物体上反射和折射的WiFi信号，根据无线接收端接收的WiFi信号计算得到人体活动的信道状态信息CSI值，同时，时间戳同步相机获取人体活动的视频帧的画面，完成数据的收集。

3)数据集建立：根据信道状态信息CSI值和所有视频帧的画面建立训练数据集，根据时间区间将CSI与视频帧均匀对应，构成训练数据集。

4)网络建立：构建深度学习网络，根据训练数据集对深度学习网络进行训练，得到训练好的深度学习网络。

5)人体感知：将信道状态信息CSI值放入训练好的深度学习网络，得到人体活动感知结果。

2.根据权利要求1所述细粒度人体感知方法，其特征在于，步骤2中得到信道状态信息CSI值的方法具体如下：

CSI＝m×a×b×c (1)

其中，m是接收到的WiFi包的数量，a是OFDM载波数，b和c分别是无线发射端和无线接收端的天线数量。

3.根据权利要求1所述细粒度人体感知方法，其特征在于，步骤4中深度学习网络包括真值计算网络与训练匹配网络。

所述真值计算网络将视频帧作为输入，输出人体掩影图(SM)：F_SM，关键点热力图(JHMs)：F_JHM与关节连接场(PAFs)：F_PAF。所述SM是人体感知的热图，JHMs是人体关键关节点的概率热力图，PAFs对于某两个关键关节点是否相连给出了度量的权重。JHMs与PAFs一起计算恢复人体躯干姿态。

所述训练匹配网络将视频帧时间对应的CSI张量作为输入，经过上采样后依次通过残差模块与U-Nets。U-Nets的输出下采样至不同维度并经过定维卷积核，使最终输出的张量人体掩影图(SM)张量关键点热力图(JHMs)与张量关节连接场(PAFs)的维度与所述真值匹配。

4.根据权利要求3所述细粒度人体感知方法，其特征在于，获得真值F_SM、F_JHM、F_PAF具体方法如下：

对于维度为p×q的视频帧，将视频帧作为输入经过Mask R-CNN网络，输出人体掩影图F_SM∈R^1×p×q，R代表空间维度。

将视频帧作为输入经过人体关节识别模型，输出F_JHM∈R^i×p×q，F_PAF∈R^j×p×q。

其中，i和j分别代表特征图像的层数，i、j与识别模型的选择有关。

5.根据权利要求3所述细粒度人体感知方法，其特征在于，采用损失函数L对训练匹配网络进行优化，具体如下：

L＝λ₁L_SM+λ₂L_JHM+λ₃L_PAF (2)

其中，L_SM、L_JHM和L_PAF分别是训练结果在SM、JHMs和PAFs上的损失值。λ₁、λ₂、λ₃分别是三个损失值的权重系数，λ₁＝0.1，λ₂＝λ₃＝1。

L_SM使用二元交叉熵损失(Binary Cross Entropy Loss)计算，L_JHM采用以下计算方法：

其中，(i,j,c)代表张量的序号，和y_(i,j,c)分别代表对于JHMs第(i,j,c)个分量的预测值与实际值。w_(i,j,c)是马修斯权重，具体表达式如下：

w_(i,j,c)＝k·y_(i,j,c)+b·I(y_(i,j,c)) (4)

其中，k和b分别为第一系数和第二系数，I(·)为开关函数，当输入值非负时输出为1，否则输出为-1。

L_PAF和L_JHM的计算方法相同，计算L_JHM时，k＝1，b＝1；计算L_PAF时，k＝1，b＝0.3。