[发明专利]一种用户姿态的评估方法、装置以及处理设备在审
申请号: | 202110765503.8 | 申请日: | 2021-07-06 |
公开(公告)号: | CN113658211A | 公开(公告)日: | 2021-11-16 |
发明(设计)人: | 刘霞;赖重远;李雅卓;熊琰;任先平;林玲;李骁;严明蝶 | 申请(专利权)人: | 江汉大学 |
主分类号: | G06T7/207 | 分类号: | G06T7/207;G06T7/73;G06N3/04;G06N3/08 |
代理公司: | 北京众达德权知识产权代理有限公司 11570 | 代理人: | 张晓冬 |
地址: | 430056 湖北省武*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 用户 姿态 评估 方法 装置 以及 处理 设备 | ||
1.一种用户姿态的评估方法,其特征在于,所述方法包括:
处理设备获取待评估用户姿态的目标图像,所述目标图像是从拍摄目标用户得到的,所述目标图像为深度摄像头拍摄得到的深度图像;
所述处理设备将所述目标图像输入评估模型,进行用户姿态评估处理,所述评估模型是初始神经网络模型通过标注有对应用户姿态评估结果的不同深度图像训练得到的;
所述处理设备提取所述评估模型输出的用户姿态评估结果。
2.根据权利要求1所述的方法,其特征在于,所述用户姿态评估处理中的坐标处理包括:采用旋转包围盒算法对组成所述目标图像的输入点云的三维坐标进行主成分分析;在所述旋转包围盒算法涉及的三个轴方向与所述输入点云的相关矩阵的三个特征向量平行,且紧密包围所述输入点云的基础上,将所述输入点云从相机坐标系变换到旋转包围盒坐标系;对变换后的点云进行平移和尺度归一化。
3.根据权利要求1所述的方法,其特征在于,所述评估模型由空间分级感知器网络层、最大池化层和全连接层构成,提取各空间尺度下的点云特征;所述评估模型将标识为活动范围大的关节点及其邻域信息输入到点云神经网络中进行再回归,以提升局部估计性能;所述评估模型对若干点云神经网络进行堆叠,堆叠后的输出候选结果与单一点云神经网络输出候选结果互为补充;所述评估模型引入用户姿态先验模块辅助评,降低遮挡对关节点位置评估准确性造成的影响。
4.根据权利要求1所述的方法,其特征在于,所述用户姿态评估处理具体包括:在识别出的各关节点的三维坐标之间的角度特征以及距离特征的基础上,结合所述各关节点的时间运动轨迹、空间运动轨迹以及变化特征,进行姿态评估。
5.根据权利要求1所述的方法,其特征在于,所述处理设备获取待评估用户姿态的目标图像之前,所述方法还包括:
所述处理设备获取作为训练集的所述标注有对应用户姿态评估结果的不同深度图像,所述不同深度图像根据对应用户姿态评估结果标注有静态位姿的关键帧、动作姿态的起始帧以及终止帧、关键关节点的位置;
所述处理设备将所述标注有对应用户姿态评估结果的不同图像输入所述初始神经网络模型,进行正向传播,并根据输出的用户姿态评估结果进行模型参数优化,进行反向传播,当达到训练要求时完成训练,得到所述评估模型。
6.根据权利要求1所述的方法,其特征在于,所述处理设备获取待评估用户姿态的目标图像,包括:
所述处理设备接收由所述深度摄像头上传的所述目标图像,所述目标图像为所述深度摄像头在所述目标用户的触发下拍摄得到的,所述深度摄像头为系统上预先记录的、与所述目标用户具有一对一配对关系的摄像头。
7.根据权利要求6所述的方法,其特征在于,所述深度摄像头的数量为一个。
8.一种用户姿态的评估装置,其特征在于,所述装置包括:
获取单元,用于获取待评估用户姿态的目标图像,所述目标图像是从拍摄目标用户得到的,所述目标图像为深度摄像头拍摄得到的深度图像;
评估单元,用于将所述目标图像输入评估模型,进行用户姿态评估处理,所述评估模型是初始神经网络模型通过标注有对应用户姿态评估结果的不同深度图像训练得到的;
提取单元,用于提取所述评估模型输出的用户姿态评估结果。
9.一种处理设备,其特征在于,包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至7任一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于江汉大学,未经江汉大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110765503.8/1.html,转载请声明来源钻瓜专利网。