[发明专利]人体姿态估计方法、装置、电子设备及可读存储介质

说明书

本公开实施例公开了一种人体姿态估计方法、装置、电子设备及可读存储介质，所述人体姿态估计方法包括：处理接收到的视频数据，获取人体姿态的真实关键点坐标；处理接收到的信道状态信息，并将处理后的所述信道状态信息输入神经网络模型进行训练，得到人体姿态的预测关键点坐标；其中，所述信道状态信息与视频数据为在时间同步下采集到的数据，所述神经网络模型的损失函数由根据所述真实关键点坐标与所述预测关键点坐标计算得到。

技术领域

本公开涉及通信和计算机技术领域，具体涉及一种人体姿态估计方法、装置、电子设备及可读存储介质。

背景技术

随着Wi-Fi架构和软件工具的提升，可以很方便的利用普通的商用Wi-Fi设备获取信道状态信息(Channel State Information，CSI)，捕捉和处理人体在空间中的自由活动所引起的反射的Wi-Fi信号的幅度和相位变化，建立无线信号与目标姿态之间的映射关系，从而准确有效的对空间中的人类活动进行感知。

现有技术中，基于无线感知的人体姿态估计方法可以估计出二维或三维的人体姿态，但是它们都在某些方面存在着缺陷。二维的姿态估计方法只能返回固定视角的姿态信息，包含的信息量不充足，并且没办法估计某些特殊姿势(例如某些肢体在视角方向被遮挡)。三维的姿态估计方法往往要求人在一个定点上做动作，导致其应用场景受到了很大限制。

发明内容

为了至少部分解决相关技术问题，本公开实施例提供一种人体姿态估计方法和装置。

第一方面，本公开实施例中提供了一种人体姿态估计方法。

具体地，所述人体姿态估计方法，包括：

处理接收到的视频数据，获取人体姿态的真实关键点坐标；

处理接收到的信道状态信息，并将处理后的所述信道状态信息输入神经网络模型进行训练，得到人体姿态的预测关键点坐标；

其中，所述信道状态信息与视频数据为在时间同步下采集到的数据，所述神经网络模型的损失函数由根据所述真实关键点坐标与所述预测关键点坐标计算得到。

结合第一方面，本公开在第一方面的第一种实现方式中，所述方法还包括：利用训练好的神经网络模型进行人体姿态估计。

结合第一方面，本公开在第一方面的第二种实现方式中，所述处理接收到的视频数据，获取人体姿态的真实关键点坐标，包括：

从视频数据中依次提取人体的二维姿态、三维姿态，得到人体骨架关键点坐标；

基于时间序列形成所述人体骨架关键点坐标的关键点坐标集合，作为人体姿态的真实关键点坐标。

结合第一方面，本公开在第一方面的第三种实现方式中，所述处理接收到的信道状态信息，并将处理后的信息输入神经网络模型进行训练，得到人体姿态的预测关键点坐标，包括：

利用同步的视频数据分割预处理后的信道状态信息，将一个视频帧与基于采集速率得到的n个信道状态信息的采样样本对应；其中，n为自然数；

分别根据所述采样样本的振幅得到振幅图像以及根据所述采样样本的相位信息得到相位图像；其中，所述振幅图像以及相位图像的像素为M×T，M为载波数量，T为选择的采样样本数，T≥n；

将所述振幅图像以及相位图像输入神经网络模型进行训练，得到人体姿态的预测关键点坐标。

结合第一方面的第三种实现方式，本公开在第一方面的第四种实现方式中，所述预处理后的信道状态信息的预处理方式包括：

确定不同天线接收到的信道状态信息中静态路径成分与动态路径成分的方差；

将方差最大的信道状态信息去噪后作为预处理后的信道状态信息。