[发明专利]一种基于VOCA的完整口型动画生成方法有效
申请号: | 202010012004.7 | 申请日: | 2020-01-07 |
公开(公告)号: | CN110807825B | 公开(公告)日: | 2021-04-20 |
发明(设计)人: | 司马华鹏;唐翠翠 | 申请(专利权)人: | 南京硅基智能科技有限公司 |
主分类号: | G06T13/40 | 分类号: | G06T13/40;G06T17/20 |
代理公司: | 江苏舜点律师事务所 32319 | 代理人: | 孙丹 |
地址: | 210012 江苏省*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 voca 完整 口型 动画 生成 方法 | ||
1.一种基于VOCA的完整口型动画生成方法,其特征是:包括以下步骤:
步骤一、建立与VOCA头部3D模型对应的静态口腔模型,所述静态口腔模型至少包括上排牙齿、下排牙齿以及舌头;
步骤二、通过3D建模软件打开静态口腔模型和VOCA头部3D模型,并将静态口腔模型嵌入在静态VOCA头部3D模型的对应位置;
步骤三、在利用VOCA头部3D模型生成动画时,实时计算口部关键点的运动轨迹,并且通过该运动轨迹计算与静态口腔模型之间的线性映射关系,形成完整口腔模型的动画;
口部关键点的选取方法为:读取VOCA头部3D模型底层的flame静态模型,根据其中提供的V、F以及权重计算重心坐标,V是顶点集合,F是由V的索引构成的面集合,取每个三角面的重心作为关键点l=∑viwi,其中wi为flame给定的权重参数,∑wi=1,i=1,2,3为三角面的三个顶点,在此基础上在VOCA头部3D模型上指定关键点,并通过辅助工具,手动在VOCA头部3D模型的口部选取关键点,记录下关键点在3D模型中的index,通过index在3D模型的顶点中进行索引,找到对应顶点的坐标进行使用,需要记录3D模型中左嘴角,上嘴唇底部,右嘴角,下嘴角顶部,共四个顶点的index,分别通过下标left、up、right、down进行表示;
形成口腔模型的动画的方法为:通过对VOCA头部3D模型的关键点计算距离,通过张嘴口腔模型和闭嘴口腔模型生成对应的中间状态,其中映射关系是:通过计算t时刻VOCA头部3D模型的关键点之间的距离,得到t时刻的张嘴系数,映射得到t时刻的口腔状态;
计算过程为:根据实际测量获得嘴部最大垂直距离最大水平距离3D模型文件使用O={V,F}表示,VOCA的静态3D模型使用OO={VO,FO}表示,上口腔3D模型使用Op={Vp,Fp}表示,下口腔3D模型使用Oq={Vq,Fq}表示,舌头3D模型使用Og={Vg,Fg}表示,VOCA静态顶点集合为VO={o1,o2,...,on},上口腔顶点集合为Vp={p1,p2,...,pn},下口腔顶点集合为Vq={q1,q2,...,qn},舌头顶点集合为Vg={g1,g2,...,gn},VOCA生成的语音驱动的动态3D为:计算t时嘴部的垂直距离水平距离euc()表示计算欧式距离,则t时刻的垂直张嘴系数水平张嘴系数根据张嘴系数可以得到t时刻口腔3D模型,对应的F面集合不变,顶点集合V变化如下:上口腔其中下口腔其中舌头其中0<α,β<1为人工调整的对应系数。
2.根据权利要求1所述的一种基于VOCA的完整口型动画生成方法,其特征是:静态口腔模型的建立方法包括直接从3D建模软件中导出现有的口腔模型或者手动创建节点和面构造口腔模型。
3.根据权利要求1所述的一种基于VOCA的完整口型动画生成方法,其特征是:将静态口腔模型嵌入在静态VOCA头部3D模型的方法包括手动拖拽以实现对应嵌入。
4.根据权利要求1所述的一种基于VOCA的完整口型动画生成方法,其特征是:通过旋转上排牙齿、下排牙齿以及舌头控制口腔为闭合状态,导出闭嘴口腔模型;通过旋转上排牙齿、下排牙齿以及舌头控制口腔为张嘴最大状态,导出张嘴口腔模型。
5.根据权利要求1所述的一种基于VOCA的完整口型动画生成方法,其特征是:静态口腔模型创建好后为VOCA头部3D模型文件格式。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京硅基智能科技有限公司,未经南京硅基智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010012004.7/1.html,转载请声明来源钻瓜专利网。