[发明专利]身体姿势估计在审
申请号: | 202080012718.6 | 申请日: | 2020-02-06 |
公开(公告)号: | CN113383369A | 公开(公告)日: | 2021-09-10 |
发明(设计)人: | A·阿苏利纳;I·伯杰;李运成 | 申请(专利权)人: | 斯纳普公司 |
主分类号: | G06T13/40 | 分类号: | G06T13/40;G06N3/02;G06N20/00;G06T7/73;G06T19/00 |
代理公司: | 北京市中咨律师事务所 11247 | 代理人: | 李永敏;于静 |
地址: | 美国加利*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 身体 姿势 估计 | ||
1.一种方法,包括:
由一个或多个处理器接收包括对用户的身体的描绘的单目图像;
由所述一个或多个处理器检测所述单目图像中描绘的身体的多个骨骼关节;
由所述一个或多个处理器基于所检测的所述身体的多个骨骼关节来确定所述单目图像中描绘的身体所表示的姿势;
由所述一个或多个处理器通过基于所检测的所述身体的多个骨骼关节调整化身的骨架的一组骨骼关节来修改化身的姿势以匹配由所述单目图像中描绘的身体所表示的姿势;以及
由所述一个或多个处理器生成具有与由所述单目图像中描绘的身体所表示的姿势相匹配的修改姿势的化身,以供显示。
2.根据权利要求1所述的方法,其中,所述单目图像是视频的第一帧,所述方法还包括:
使用第一机器学习技术来识别所述单目图像的多个骨骼关节特征,其中,基于所识别的多个骨骼关节特征检测所述多个骨骼关节的位置;以及
使用第二机器学习技术来估计在所述视频的第二帧中所述用户的位置和所述用户的图像的比例。
3.根据权利要求2所述的方法,还包括:识别与所检测的多个骨骼关节相对应的多个骨骼关节位置,其中,基于与所述多个骨骼关节位置相关联的姿势来确定由所述身体表示的姿势。
4.根据权利要求1所述的方法,还包括:由所述一个或多个处理器从多个化身中选择与所述骨架相关联的化身。
5.根据权利要求1所述的方法,还包括:生成具有修改姿势的化身以与对所述用户的所述身体的所述描绘一起显示。
6.根据权利要求5所述的方法,其中,所述用户是第一用户,并且其中,所述化身是第一化身,所述方法还包括:
捕获第一图像,所述第一图像包括具有修改姿势的所述第一化身的显示以及对所述第一用户的所述身体的所述描绘;以及
从所述第一用户的第一用户设备向第二用户的第二用户设备发送所捕获的第一图像。
7.根据权利要求6所述的方法,还包括:从所述第二用户设备接收第二图像,所述第二图像包括第二化身和对所述第二用户的身体的描绘的同时显示,其中,在所述第二图像中所述第二化身的姿势与所述第二用户的所述身体所描绘的姿势相匹配。
8.根据权利要求7所述的方法,还包括:生成所述第一图像和所述第二图像的同时显示。
9.根据权利要求1所述的方法,还包括:
接收包括多个单目图像的视频,所述多个单目图像包括对所述用户的所述身体的所述描绘;
跨所述多个单目图像跟踪所述多个骨骼关节的变化;
基于跟踪所述多个骨骼关节的所述变化来检测所述身体所表示的姿势的变化;以及
连续或定期修改所述化身的姿势以匹配所述身体所表示的姿势的所述变化。
10.根据权利要求9所述的方法,还包括:
在所述视频中呈现虚拟对象;以及
基于所检测的所述身体所表示的姿势的变化,调整以下中的一个或多个:所述虚拟对象移动的速率、所述对象在所述视频中的位置、以及所述对象的视觉属性。
11.根据权利要求1所述的方法,其中,所述化身是多个相同化身中的第一化身,该方法还包括:
由所述一个或多个处理器生成具有第一组不同姿势的多个相同化身以供显示;以及
检测所述单目图像中描绘的身体所表示的姿势对应于指定姿势。
12.根据权利要求11所述的方法,还包括:响应于检测到所述单目图像中描绘的身体所表示的所述姿势对应于所述指定姿势:
将所述多个化身的第一组不同姿势修改为具有与所述单目图像中描绘的身体所表示的所述姿势相匹配的相同姿势;以及
由所述一个或多个处理器生成具有相同姿势的所述多个化身以供显示。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于斯纳普公司,未经斯纳普公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202080012718.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:基板载具头和加工系统
- 下一篇:超声波流量计