[发明专利]虚拟人脸动画的生成方法及装置有效
申请号: | 201611248090.1 | 申请日: | 2016-12-29 |
公开(公告)号: | CN106653052B | 公开(公告)日: | 2020-10-16 |
发明(设计)人: | 李松南 | 申请(专利权)人: | TCL科技集团股份有限公司 |
主分类号: | G10L21/10 | 分类号: | G10L21/10;G10L13/08;G10L13/10;G10L15/25;G06T13/40 |
代理公司: | 深圳中一联合知识产权代理有限公司 44414 | 代理人: | 李艳丽 |
地址: | 516006 广东省惠州市*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 虚拟 动画 生成 方法 装置 | ||
1.一种虚拟人脸动画的生成方法,其特征在于,包括:
将输入文本转化为语音信号;
根据所述语音信号中静音帧的出现位置,对所述输入文本进行分句处理,得到多个短句;
对于每个所述短句,生成虚拟人脸动画中的一个头部摆动动作;
将每个所述短句映射成至少一个唇形;
将每个所述短句对应的所述头部摆动动作与所述唇形融合,以生成每个所述短句对应的虚拟人脸动画;
所述根据所述语音信号中静音帧的出现位置,对所述输入文本进行分句处理,得到多个短句,包括:
将所述语音信号分解成多个语音帧,所述多个语音帧包括所述静音帧以及音素帧;
对所述输入文本进行分词处理,并获取每个分词对应的多个所述音素帧;
若相邻的两个分词分别对应的多个所述音素帧之间存在一个或多个静音帧,则获取所述一个或多个静音帧的总时长;
当所述总时长大于第一预设阈值时,将相邻的两个分词分别划分至相邻的两个短句中;
若划分得到的任意一个所述短句的字符总数大于第二预设阈值,则令所述第一预设阈值减少一个固定值,并重新对该短句进行分句处理,直至得到的每个短句的所述字符总数不大于所述第二预设阈值。
2.如权利要求1所述的方法,其特征在于,在对所述输入文本进行分词处理,并获取每个分词对应的多个所述音素帧之前,所述方法还包括:
获取每个所述语音帧中各音素的出现概率;
获取所述语音信号对应的音素序列,所述音素序列包含按先后顺序依次排列的多个音素;
根据所述音素序列中各个音素的排列顺序以及所述语音帧中各音素的出现概率,在所述多个语音帧中确定所述静音帧以及确定所述音素序列中各音素分别对应的音素帧。
3.如权利要求2所述的方法,其特征在于,所述获取每个所述语音帧中各音素的出现概率包括:
获取包含多条合成语音的语料库;
基于所述语料库中的多条所述合成语音,构建并训练语音识别模型;
将每个所述语音帧输入所述语音识别模型,以输出每个所述语音帧中各音素的出现概率。
4.如权利要求1所述的方法,其特征在于,所述方法还包括:
通过情感分析算法对所述输入文本进行处理,以得到所述输入文本的情感类型;
获取所述情感类型对应的骨架系数,所述骨架系数表示虚拟人脸动画中预存储的一种表情姿态;
根据所述骨架系数为所述虚拟人脸动画渲染人脸表情。
5.一种虚拟人脸动画的生成装置,其特征在于,包括:
第一获取单元,用于将输入文本转化为语音信号;
分句单元,用于根据所述语音信号中静音帧的出现位置,对所述输入文本进行分句处理,得到多个短句;
生成单元,用于对于每个所述短句,生成虚拟人脸动画中的一个头部摆动动作;
映射单元,用于将每个所述短句映射成至少一个唇形;
融合单元,用于将每个所述短句对应的所述头部摆动动作与所述唇形融合,以生成每个所述短句对应的虚拟人脸动画;
所述分句单元包括:
分帧子单元,用于将所述语音信号分解成多个语音帧,所述多个语音帧包括所述静音帧以及音素帧;
第一获取子单元,用于对所述输入文本进行分词处理,并获取每个分词对应的多个所述音素帧;
第二获取子单元,用于若相邻的两个分词分别对应的多个所述音素帧之间存在一个或多个静音帧,则获取所述一个或多个静音帧的总时长;
划分子单元,用于当所述总时长大于第一预设阈值时,将相邻的两个分词分别划分至相邻的两个短句中;
分句子单元,用于若划分得到的任意一个所述短句的字符总数大于第二预设阈值,则令所述第一预设阈值减少一个固定值,并重新对该短句进行分句处理,直至得到的每个短句的所述字符总数不大于所述第二预设阈值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于TCL科技集团股份有限公司,未经TCL科技集团股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201611248090.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种视频聋哑模式的方法及装置
- 下一篇:生成语音动画的方法和装置