[发明专利]上身姿态重构方法、装置、电子设备及存储介质在审
申请号: | 202111323846.5 | 申请日: | 2021-11-09 |
公开(公告)号: | CN114092639A | 公开(公告)日: | 2022-02-25 |
发明(设计)人: | 胡永涛;章烛明;戴景文;贺杰 | 申请(专利权)人: | 广东虚拟现实科技有限公司 |
主分类号: | G06T17/00 | 分类号: | G06T17/00 |
代理公司: | 深圳市智圈知识产权代理事务所(普通合伙) 44351 | 代理人: | 吴晓青 |
地址: | 510335 广东省广州市天河*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 上身 姿态 方法 装置 电子设备 存储 介质 | ||
1.一种上身姿态重构方法,其特征在于,所述方法包括:
获取用户的头部及双手位置上惯性测量单元传感器采集的6-DoF姿态信息;
基于深度神经网络模型对所述6-DoF姿态信息进行计算,得出所述用户上身关节位置的多个姿态信息;
根据所述多个姿态信息对所述用户的上身姿态进行三维重构计算,得出所述用户的上身人体模型。
2.根据权利要求1所述的方法,其特征在于,在所述基于深度神经网络模型对所述6-DoF姿态信息进行计算,得出所述用户上身关节位置的多个姿态信息之前,所述方法还包括:
基于历史6-DoF姿态信息和历史姿态信息训练出用于确定所述用户上身关节位置的多个姿态信息的深度神经网络模型。
3.根据权利要求2所述的方法,其特征在于,所述基于历史6-DoF姿态信息和历史姿态信息训练出用于确定所述用户上身关节位置的多个姿态信息的深度神经网络模型,包括:
获取历史6-DoF姿态信息和历史姿态信息;
将所述历史姿态信息作为标签,并将所述历史6-DoF姿态信息和所述历史姿态信息作为训练集;
基于所述训练集训练出用于确定所述用户上身主要关节位置的多个姿态信息的深度神经网络模型。
4.根据权利要求1所述的方法,其特征在于,在基于深度神经网络模型对所述6-DoF姿态信息进行计算,得出所述用户上身关节位置的多个姿态信息之后,所述方法还包括:
将所述多个姿态信息和预设姿态信息进行匹配,得到匹配结果;
根据所述匹配结果,判断所述多个姿态信息中是否存在错误姿态信息;
若存在错误姿态信息,则确定所述多个姿态信息和预设姿态信息之间的偏差量;
根据所述偏差量,对所述用户上身关节位置的多个姿态信息进行调整。
5.根据权利要求1所述的方法,其特征在于,所述根据所述多个姿态信息对所述用户的上身姿态进行三维重构计算,得出所述用户的上身人体模型,包括:
根据坐标转换规则,对多个所述姿态信息进行坐标转换,得出用于建立所述用户上身的骨骼模型的关节坐标;
根据所述关节坐标,生成所述用户的上身骨骼模型;
基于预设渲染数据,对所述上身骨骼模型进行渲染,生成得出所述用户的上身人体三维模型。
6.根据权利要求5所述的方法,其特征在于,所述根据坐标转换规则,对多个所述姿态信息进行坐标转换,得出用于建立所述用户上身的骨骼模型的关节坐标,包括:
确定多个所述姿态信息对应坐标系与所述用户的上身骨骼模型对应坐标系的坐标转换规则;
基于所述坐标转换规则,将多个所述姿态信息转换为所述用户的上身骨骼模型对应坐标系的关节坐标。
7.根据权利要求1所述的方法,其特征在于,所述基于深度神经网络模型对所述6-DoF姿态信息进行计算,得出所述用户上身关节位置的多个姿态信息,还包括:
获取所述用户上身的图像信息;
利用深度神经网络模型对所述6-DoF姿态信息和所述图像信息进行计算,得出所述用户上身主要关节位置的多个姿态信息。
8.一种上身姿态重构装置,其特征在于,所述装置包括:
信息获取模块,用于获取用户的头部及双手位置上惯性测量单元传感器采集的6-DoF姿态信息;
姿态计算模块,用于基于深度神经网络模型对所述6-DoF姿态信息进行计算,得出所述用户上身关节位置的多个姿态信息;
姿态重构模块,用于根据所述多个姿态信息对所述用户的上身姿态进行三维重构计算,得出所述用户的上身人体模型。
9.一种电子设备,其特征在于,包括:
存储器;
一个或多个处理器,与所述存储器耦接;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个应用程序配置用于执行如权利要求1~7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1~7任一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东虚拟现实科技有限公司,未经广东虚拟现实科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111323846.5/1.html,转载请声明来源钻瓜专利网。