[发明专利]一种基于人工智能的语音驱动动画方法和装置

说明书

本申请实施例公开了一种基于人工智能的语音驱动动画方法，当获取包括多个语音帧的待处理语音，可以确定出待处理语音中语音帧对应的语言学信息，每一个语言学信息用于标识所对应语音帧所属音素的分布可能性，即体现语音帧中内容属于哪一种音素的概率分布，该语言学信息携带的信息与待处理语音的实际说话人无关，由此可以抵消不同说话人发音习惯对后续表情参数的确定所带来的影响，根据语言学信息所确定出的表情参数，可以准确驱动动画形象做出对应待处理语音的表情，例如口型，从而可以有效支持任意说话人对应的待处理语音，提高了交互体验。

技术领域

本申请涉及数据处理领域，特别是涉及一种基于人工智能的语音驱动动画方法和装置。

背景技术

目前，语音到虚拟人脸动画的生成这一技术正在成为工业界应用领域的研究热点，例如针对一段任意说话人的语音，可以驱动一个动画形象做出该段语音对应的口型。在这一场景下，动画形象的存在能极大地增强真实感，提升表现力，带给用户更加沉浸式的体验。

一种方式是通过Speech2Face系统实现上述技术。一般来说，针对一说话人的语音，该系统提取语音中的声学特征例如梅尔频率倒谱系数(Mel Frequency CepstralCoefficient，MFCC)后，通过映射模型可以基于声学特征确定出对应于一个能够调整的动画形象的表情参数，依据该表情参数可以控制该动画形象做出该段语音对应的口型。

然而，由于提取的声学特征中含有与说话人相关的信息，导致以此建立的映射模型对特定说话人的语音可以准确确定对应的表情参数，若说话人出现了变更，映射模型确定出的表情参数将出现较大偏差，以此驱动的动画形象口型将与语音不一致，降低了交互体验。

发明内容

为了解决上述技术问题，本申请提供了基于人工智能的语音驱动动画方法和装置，可以有效支持任意说话人对应的待处理语音，提高了交互体验。

本申请实施例公开了如下技术方案：

第一方面，本申请实施例提供一种语音驱动动画方法，所述方法包括：

获取待处理语音，所述待处理语音包括多个语音帧；

确定所述待处理语音中语音帧对应的语言学信息，所述语言学信息用于标识所述待处理语音中语音帧所属音素的分布可能性；

根据所述语言学信息确定所述待处理语音中语音帧对应的表情参数；

根据所述表情参数驱动动画形象做出对应所述待处理语音的表情。

第二方面，本申请实施例提供一种语音驱动动画装置，所述装置包括获取单元、第一确定单元、第二确定单元和驱动单元：

所述获取单元，用于获取待处理语音，所述待处理语音包括多个语音帧；

所述第一确定单元，用于确定所述待处理语音中语音帧对应的语言学信息，所述语言学信息用于标识所述待处理语音中语音帧所属音素的分布可能性；

所述第二确定单元，用于根据所述语言学信息确定所述待处理语音中语音帧对应的表情参数；

所述驱动单元，用于根据所述表情参数驱动动画形象做出对应所述待处理语音的表情。

第三方面，本申请实施例提供一种设备，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行第一方面所述的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面所述的方法。