[发明专利]人体姿态估计方法、装置、电子设备及可读存储介质有效
申请号: | 202011485374.9 | 申请日: | 2020-12-16 |
公开(公告)号: | CN112668413B | 公开(公告)日: | 2022-11-08 |
发明(设计)人: | 路兆铭;王一鸣;郭凌超;温向明;周爽 | 申请(专利权)人: | 北京邮电大学 |
主分类号: | G06V40/20 | 分类号: | G06V40/20;G06V10/46;G06V10/82;G06N3/08 |
代理公司: | 北京智信四方知识产权代理有限公司 11519 | 代理人: | 葛啟宏;宋海龙 |
地址: | 100876 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 人体 姿态 估计 方法 装置 电子设备 可读 存储 介质 | ||
1.一种人体姿态估计方法,其特征在于,包括:
处理接收到的视频数据,获取人体姿态的真实关键点坐标;
处理接收到的信道状态信息,并将处理后的所述信道状态信息输入神经网络模型进行训练,得到人体姿态的预测关键点坐标,包括:
利用同步的视频数据分割预处理后的信道状态信息,将一个视频帧与基于采集速率得到的n个信道状态信息的采样样本对应;其中,n为自然数;
分别根据所述采样样本的振幅得到振幅图像以及根据所述采样样本的相位信息得到相位图像;其中,所述振幅图像以及相位图像的像素为M×T,M为载波数量,T为选择的组合样本数,T=m+n,m是n个采样样本之前的m个采样样本;
将所述振幅图像以及相位图像输入神经网络模型进行训练,得到人体姿态的预测关键点坐标;
其中,所述信道状态信息与视频数据为在时间同步下采集到的数据,所述神经网络模型的损失函数由根据所述真实关键点坐标与所述预测关键点坐标计算得到。
2.根据权利要求1所述的方法,其特征在于,还包括:
利用训练好的神经网络模型进行人体姿态估计。
3.根据权利要求1所述的方法,其特征在于,所述处理接收到的视频数据,获取人体姿态的真实关键点坐标,包括:
从视频数据中依次提取人体的二维姿态、三维姿态,得到人体骨架关键点坐标;
基于时间序列形成所述人体骨架关键点坐标的关键点坐标集合,作为人体姿态的真实关键点坐标。
4.根据权利要求1所述的方法,其特征在于,所述预处理后的信道状态信息的预处理方式包括:
确定不同天线接收到的信道状态信息中静态路径成分与动态路径成分的方差;
将方差最大的信道状态信息去噪后作为预处理后的信道状态信息。
5.根据权利要求1所述的方法,其特征在于:
所述神经网络模型包括以下至少一种:CNN、LSTM。
6.一种人体姿态估计装置,其特征在于,包括:
视频图像处理模块,用于处理接收到的视频数据,获取人体姿态的真实关键点坐标;
信道状态信息处理模块,用于处理接收到的信道状态信息,并将处理后的所述信道状态信息输入神经网络模型进行训练,得到人体姿态的预测关键点坐标,包括:
利用同步的视频数据分割预处理后的信道状态信息,将一个视频帧与基于采集速率得到的n个信道状态信息的采样样本对应;其中,n为自然数;
分别根据所述采样样本的振幅得到振幅图像以及根据所述采样样本的相位信息得到相位图像;其中,所述振幅图像以及相位图像的像素为M×T,M为载波数量,T为选择的组合样本数,T=m+n,m是n个采样样本之前的m个采样样本;
将所述振幅图像以及相位图像输入神经网络模型进行训练,得到人体姿态的预测关键点坐标;
其中,所述信道状态信息与视频数据为在同步时间下采集到的数据,所述神经网络模型的损失函数由根据所述真实关键点坐标与所述预测关键点坐标计算得到。
7.一种电子设备,其特征在于,包括存储器和处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行以实现权利要求1-5任一项所述的方法步骤。
8.一种可读存储介质,其上存储有计算机指令,其特征在于,该计算机指令被处理器执行时实现权利要求1-5任一项所述的方法步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京邮电大学,未经北京邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011485374.9/1.html,转载请声明来源钻瓜专利网。