[发明专利]一种基于语音识别的口型动画实现方法及装置

说明书

本发明提供一种基于语音识别的口型动画实现方法和装置，其中装置包括采集单元、信号处理单元、动画合成单元和显示单元；采集单元配置成采集原始声音数据的模拟信号；信号处理单元配置成对声音数据进行分析得到声音数据的元音；动画合成单元配置成根据声音数据的元音，调用骨骼动画，使骨骼动画作出匹配元音的口型动作；并将口型动作与现有动画进行融合播放，得到最终的口型动画；显示单元配置成用于显示动画合成单元生成的口型动画。

技术领域

本发明涉及通信领域的语间识别技术领域，尤其涉及一种基于语音识别的口型动画实现方法及装置。

背景技术

随着游戏、动漫等娱乐产业的发展，在各种游戏应用程序、动漫视频或计算机仿真应用程序中，通常会涉及到一些图像显示需要与音频互相配合的对话场景。在这些对话场景中，场景角色会轮流进行对话。例如，游戏应用中通常会涉及到游戏剧情对话场景，在游戏剧情对话场景，游戏角色会轮流进行对话。可见，在对话场景中，不仅需要播放场景角色对话的声音，还需要呈现与对话音频相配合的场景角色口型，也即，在场景角色说话时需要呈现该场景角色口型正在进行动态的变化。。

为了使得场景角色说话时口型实现动态的变化，现有技术采用的是，对话场景预先设置场景角色不同口型的图片，当应用程序运行到对话场景时，将场景角色不同口型的图片动态地切换显示，这样就使得对话场景的显示图像中场景角色的口型能够进行动态的变化，从而与对话场景的音频中场景角色的对话相配合。但是这种方案需要存储大量的口型图片，存储容量需要非常大。

当前，也有一些通过对声音时域波形进行分割，对比已有词汇的音频特征库，识别出对应的字词，但是这种识别方法，不能准确给出单个字的出现时间点，针对不同的音色也会有不同的识别结果。因为声音是模拟信号，拿到的声音的时域波形只代表声压随时间变化的关系，不能很好的代表声音的特征，所以识别准确率不高，最终得到的口型动画的匹配度也不是太好。

发明内容

为了至少解决现有的技术问题。

一般办法是针对不同音色添加参数值，或者调整时域波形的采样频率，从而提高语音的识别准确性。

本发明创造性的提供了一种基于语音识别的口型动画实现方法及装置能够解决上述技术问题当中的至少一个或多个。

一种基于语音识别的口型动画实现方法，其中，方法包括如下步骤：

采集原始声音数据的模拟信号；

将模拟信号通过A/D转换得到数字信号；

对声音数据的数字信号进行傅利叶变换，将数字信号的时域波形转换为频域波形；

对声音数据频域波形的进行Mel滤波处理；

对声音数据进行分割，分析得到声音数据的元音；

根据声音数据的元音，调用骨骼动画，使骨骼动画作出匹配元音的口型动作；

将口型动作与现有动画进行融合播放，得到最终的口型动画。

其有益效果是，首先拿到声音的模拟信号，通过A/D转换后得到数字信号，此时的数字信号的波形为时域波形，但是由于数字信号在时域上的变换通常很难看出信号的特性，特征性非常差，不利于区分判别。所以本发明通过将时域波形进行傅利叶变换，转换成频域波形，将数字信号转换为频域上的能量分布来观察，不同的能量分布，就能代表不同语音的特性，在进行傅利叶变换后，再对声音数据频域波形的进行Mel滤波处理，可以让声音数据的频谱更加平滑化，消除谐波的作用，突显原先语音的共振峰。再对声音数据进行分割，分析出其中的元音。

本发明当中选择元音，是因为通过多种不同口型综合分析发现，口型的形状与元音基本呈对应关系。即对于不同的文字读音而言，只要元音相同，则发音者的口型形状和张开的大小是基本固定的，所以只需要分析出语音数据当中的元音，就可以制作出相对准确的口型动画。