[发明专利]一种网格模型的处理方法、存储介质以及设备在审
申请号: | 202110844502.2 | 申请日: | 2021-07-26 |
公开(公告)号: | CN113538643A | 公开(公告)日: | 2021-10-22 |
发明(设计)人: | 卫华威;韩欣彤 | 申请(专利权)人: | 广州虎牙科技有限公司 |
主分类号: | G06T13/40 | 分类号: | G06T13/40;G06T17/20;G06N3/04;G06N3/08 |
代理公司: | 北京博思佳知识产权代理有限公司 11415 | 代理人: | 靳玫 |
地址: | 511495 广东省广州市番禺*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 网格 模型 处理 方法 存储 介质 以及 设备 | ||
1.一种网格模型的处理方法,其特征在于,包括:
获取待处理的目标网格模型;
通过关节图神经网络生成所述目标网格模型的关节点,再通过蒙皮图神经网络生成所述目标网格模型的各关节点的蒙皮权重;
将所述关节点以及所述蒙皮权重与所述目标网格模型进行绑定,以使绑定后的目标网格模型用于运动控制;
其中,所述关节图神经网络和所述蒙皮图神经网络是基于多个预设的三维角色模型训练得到的,所述三维角色模型具有多个顶点,所述关节图神经网络基于所述三维角色模型中已确定的关节点学习得到各顶点的分类,所述蒙皮图神经网络基于所述三维角色模型中已确定的蒙皮权重学习得到各顶点受各关节点影响的权重。
2.根据权利要求1所述的方法,其特征在于,所述多个预设的三维角色模型具有相同的顶点个数。
3.根据权利要求2所述的方法,其特征在于,所述多个预设的三维角色模型通过如下方式处理得到:
获取多个初始三维角色模型,所述多个初始三维角色模型不具有相同的顶点个数;
针对每个初始三维角色模型,将预设网格模板变形至与所述初始三维角色模型贴合,并利用变形后的预设网格模板作为所述预设的三维角色模型。
4.根据权利要求1所述的方法,其特征在于,所述目标网格模型的关节点基于以下方式得到:
将目标网格模型输入所述关节图神经网络,得到每个顶点对应的特征向量,所述特征向量用于表征所述顶点与其他顶点的相关性;
将所述特征向量输入全连接网络,得到每个顶点的预测关节位置;
对所有顶点的预测关节位置进行聚类,并将每一类的中心点作为所述目标网格模型的关节点。
5.根据权利要求1所述的方法,其特征在于,所述目标网格模型的各顶点和各关节点具有对应的排序编号;
所述目标网格模型中,任一顶点对应任一关节点的蒙皮权重是根据所述顶点的排序编号以及所述关节点的排序编号,从所述蒙皮图神经网络输出的权值矩阵中确定得到的。
6.根据权利要求1所述的方法,其特征在于,通过如下方式对绑定后的目标网格模型进行运动控制:
获取目标运动参数,基于所述目标运动参数控制所述目标网格模型的关节点进行运动,并基于所述关节点以及蒙皮权重,控制所述目标网格模型的其他顶点进行运动;所述其他顶点是指所述目标网格模型中除所述关节点之外的顶点。
7.根据权利要求6所述的方法,其特征在于,所述方法应用于直播客户端,所述目标运动参数是基于主播用户的手动设置而得到的,或是通过对捕捉到的主播动作进行解析而得到的。
8.根据权利要求1所述的方法,其特征在于,所述方法应用于直播服务端;
所述直播服务端将多个预设的三维角色模型按照人群类型进行分组,预先训练多个关节图神经网络和蒙皮图神经网络,并在主播开播后,识别主播指定的目标网格模型所属的人群类型,确定对应所述人群类型的关节图神经网络和蒙皮图神经网络,以使所述主播得到用于运动控制的目标三维模型;
或者,所述直播服务端预先处理并存储有对应不同人群类型的目标网格模型,以使主播开播后,识别出主播所属的人群类型,确定与所述主播所属的人群类型匹配的目标网格模型,并将所述目标网格模型发送给所述主播的直播客户端。
9.一种计算机设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现如权利要求1至8任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,该程序被处理器执行时实现权利要求1至8任一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州虎牙科技有限公司,未经广州虎牙科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110844502.2/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种柔性吊顶及其安装方式
- 下一篇:一种压裂返排液处理方法及处理装置