[发明专利]一种语音动画生成方法及系统

说明书

技术领域

本发明涉及图像处理技术领域，特别涉及一种语音动画生成方法及系统。

背景技术

自然语言和肢体语言是人类相互交流的主要方式。在肢体语言中，人脸是人类相互交流的重要渠道，因此语音和人脸是人类相互交流的两种最重要的渠道。语音动画技术就是将人脸动画技术与语音处理技术相结合，用计算机生成语音与口型同步播出的动画技术，也称为“说话的头像”或“对口型”。

语音动画技术包括基于单幅图像的语音动画技术。基于单幅图像的语音动画技术的工作流程为：输入一张人脸图像，在所述人脸图像上自动或手工标记特征点，保存成面部特征点的位置数据文件；输入语音文件，对所述语音文件进行语音识别，生成音素-时间戳文件并保存；根据所述语音文件的音素-时间戳文件对所述人脸图像采用图像变形技术实现人脸图像的变形，达到变形图像与语音文件的同步，使得一边播放语音，一边驱动图像上的人脸进行动画。基于单幅图像的语音动画技术还可应用于动物脸图像或卡通形象的脸图像。

在基于单幅图像的语音动画技术中，图像变形技术是其核心技术。现有的图像变形技术一般采用基于网格扭曲的图像变形算法。

基于网格扭曲的图像变形算法通过对面部图像进行网格划分，形成一张网状的面罩，再对面部图像进行图像变形，产生人脸动画。基于网格扭曲的图像变形算法主要用于两张面部图像之间的形状变形，两张面部图像分别为源图像I_S和目标图像I_T。其中，源图像I_S与网格M_S相对应，目标图像I_T与网格M_T相对应；如图1所述，网格M_S指定了控制点的坐标，网格M_T指定了网格M_S中控制点在目标图像I_T中的对应位置。网格M_S和网格M_T一起用于定义空间转变，所述空间转变将源图像I_S中所有控制点映射到目标图像I_T上去，实现源图像I_S到目标图像I_T的图像变形。

基于网格扭曲的图像变形算法中，人脸图像的动画效果是通过一帧一帧的中间帧图像连贯在一起表现出来的。所述中间帧图像I_F可以通过执行以下步骤得到：

(1)在网格M_T和网格M_S之间线性插值网格M；

(2)利用网格M_S和网格M将源图像I_S变形到I₁；

(3)利用网格M_T和网格M将目标图像I_T变形到I₂；

(4)在I₁和I₂之间线性插值图像I_F。

如果I_S和I_F是同一幅图像，网格M_T和网格M_S不同，就可以实现源图像I_S的动画。其中，基于网格扭曲的图像变形算法中的线性插值方法为三次样条插值法，所述三次样条插值法计算量大，增加了图像变形算法的运算复杂性，使得图像变形时间增加，使得语音动画技术中语音与变形图像之间同步性降低。

从上面可以看出，现有语音动画技术中的基于网格扭曲的图像变形算法的运算复杂性高，计算量大，增加了图像变形的时间，使得语音动画技术中语音控制动画生成的实时性降低。

发明内容

本发明实施例的目的是提供一种语音动画生成方法及系统，以降低语音技术中图像变形算法的运算复杂性，使得语音动画技术中语音控制动画生成的实时性增强。

为解决上述技术问题，本发明实施例提供的一种语音动画生成方法及系统是这样实现的：

一种语音动画生成方法，包括：

在面部图像上生成面部图像特征点；

根据所述面部图像特征点独立构造变形前面部图像的横向样条和纵向样条；

从音频数据中获取语音动画参数；

根据所述语音动画参数获取变形后面部图像的横向样条和纵向样条；