[发明专利]一种基于语音识别的口型动画实现方法及装置在审
申请号: | 201810972661.9 | 申请日: | 2018-08-24 |
公开(公告)号: | CN109087629A | 公开(公告)日: | 2018-12-25 |
发明(设计)人: | 宋大伟;李拓 | 申请(专利权)人: | 苏州玩友时代科技股份有限公司 |
主分类号: | G10L15/02 | 分类号: | G10L15/02;G10L15/22;G06T13/00 |
代理公司: | 北京商专永信知识产权代理事务所(普通合伙) 11400 | 代理人: | 邢若兰;高之波 |
地址: | 215000 江苏省苏州市*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 口型动画 动画合成 声音数据 元音 信号处理单元 采集单元 骨骼动画 口型动作 语音识别 配置 原始声音数据 方法和装置 单元配置 单元生成 模拟信号 成对 调用 匹配 采集 播放 融合 分析 | ||
1.一种基于语音识别的口型动画实现方法,其中,所述方法包括如下步骤:
采集原始声音数据的模拟信号;
将模拟信号通过A/D转换得到数字信号;
对声音数据的数字信号进行傅利叶变换,将数字信号的时域波形转换为频域波形;
对声音数据频域波形的进行Mel滤波处理;
对声音数据进行分割,分析得到声音数据的元音;
根据声音数据的元音,调用骨骼动画,使骨骼动画作出匹配元音的口型动作;
将口型动作与现有动画进行融合播放,得到最终的口型动画。
2.根据权利要求1所述的方法,其中,在Mel滤波处理的步骤当中,添加人耳听觉特性的滤波器,补偿声音数据中低频部分掩盖的高频部分,并且突显出高频共振峰。
3.根据权利要求1所述的方法,其中,对声音数据的数字信号进行傅利叶变换的具体公式为:
其中,参数N是采样点数量,x(k)为输入声音数据序列。
4.根据权利要求1所述的方法,其中,对声音数据频域波形的进行Mel滤波处理的具体公式为:
M(f)=1125ln(1+f/700)
参数f是频率,1125和700都是经验值常量,将不统一的频率转化为统一的频率。
5.根据权利要求1所述的方法,其中,在对声音数据频域波形的进行Mel滤波处理的步骤后,还包括步骤:
对声音数据的频域波形进行倒谱,具体倒谱的公式为:
M-1(m)=700(exp(m/1125)-1)
参数m是频域波形的振幅,700和1125是经验值常量。
6.一种非易失性计算机存储介质,存储有计算机可执行程序,所述计算机可执行程序用于执行如上所述的基于语音识别的口型动画实现方法。存储介质包括但不限于ROM、RAM、普通硬盘、U盘或者软盘。
7.一种基于语音识别的口型动画实现装置,其特征在于,包括:采集单元、信号处理单元、动画合成单元和显示单元;
所述采集单元配置成采集原始声音数据的模拟信号;
所述信号处理单元配置成对声音数据进行分析得到声音数据的元音;
所述动画合成单元配置成根据声音数据的元音,调用骨骼动画,使骨骼动画作出匹配元音的口型动作;并将口型动作与现有动画进行融合播放,得到最终的口型动画;
所述显示单元配置成用于显示所述动画合成单元生成的口型动画。
8.根据权利要求7所述的装置,其中,所述信号处理单元包括A/D转换模块、傅利叶变换模块、Mel滤波处理模块和元音分割模块,
所述A/D转换模块配置成将模拟信号通过A/D转换得到数字信号;
所述傅利叶变换模块配置成对声音数据的数字信号进行傅利叶变换,将数字信号的时域波形转换为频域波形;
所述Mel滤波处理模块配置成对声音数据频域波形的进行Mel滤波处理;
所述元音分割模块配置成对声音数据进行分割,得到声音数据的元音。
9.根据权利要求8所述的装置,其中,还包括手工修正模块,所述手工修正模块配置有参数修正功能,供分析结果不精确时进行手工修改。
10.一种基于语音识别的口型动画实现方法,其中,所述方法包括如下步骤:
采集原始声音数据的模拟信号;
将模拟信号通过A/D转换得到数字信号;
对声音数据的数字信号进行傅利叶变换,将数字信号的时域波形转换为频域波形;
对声音数据频域波形的进行Mel滤波处理;
对声音数据进行分割,分析得到声音数据的元音;
根据声音数据的元音,调用不同形状的口型图片,从而匹配相应元音;
将口型图片的切换流程与现有动画进行融合播放,得到最终的口型动画。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州玩友时代科技股份有限公司,未经苏州玩友时代科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810972661.9/1.html,转载请声明来源钻瓜专利网。