[发明专利]一种语音驱动虚拟人脸的视频生成方法以及装置

权利要求书

1.一种语音驱动虚拟人脸的视频生成方法，其特征在于，包括：

获得待输出的当前语音信息；

根据预设的语音元素与面部驱动参数的映射关系，获得与所述当前语音信息包含的语音元素相对应的当前面部驱动参数；

将所述当前面部驱动参数和预定的虚拟人脸面部模板结合，获得当前面部帧图；

将所述当前面部帧图与所述预定的虚拟人脸面部模板进行贴合，获得对应于所述当前语音信息的当前面部视频帧；

其中，所述根据预设的语音元素与面部驱动参数的映射关系，获得与所述当前语音信息包含的语音元素相对应的当前面部驱动参数，包括：

对所述当前语音信息进行处理，获得所述当前语音信息包含的语音元素；

将所述当前语音信息包含的语音元素输入预定的语音-面部映射模型进行预测，获得所述当前语音信息包含的语音元素所对应的当前面部驱动参数；

所述语音-面部映射模型通过如下方式获得：

根据以指定模特为展示对象的原始音视频，获得基准语音元素以及与所述基准语音元素相对应的基准面部帧图；

根据所述基准面部帧图与所述预定的虚拟人脸面部模板，获得能够反映所述基准面部帧图相对于所述预定的虚拟人脸面部模板的面部变化幅度的全量面部驱动参数；

将所述基准语音元素和所述全量面部驱动参数作为训练样本，按照映射模型算法进行模型训练，获得能够反映出所述基准语音元素与所述全量面部驱动参数的映射关系的语音-面部映射模型。

2.根据权利要求1所述的方法，其特征在于，所述指定模特与所述预定的虚拟人脸面部模板所属的模特为同一模特，所述预定的虚拟人脸面部模板从所述指定模特的面部状态中进行选定。

3.根据权利要求1所述的方法，其特征在于，所述指定模特与所述预定的虚拟人脸面部模板所属的模特为具有预定相似度的不同模特，所述预定的虚拟人脸面部模板从其所属的模特的面部状态中进行选定。

4.根据权利要求2或3所述的方法，其特征在于，所述对应于所述当前语音信息的当前面部视频帧的主体为以所述预定的虚拟人脸面部模板所属的模特为原型的虚拟人，所述虚拟人被展示于交互界面中的预定位置处，所述对应于所述当前语音信息的当前面部视频帧通过所述交互界面进行输出。

5.根据权利要求1所述的方法，其特征在于，所述语音元素是从语音信息的音频信号中提取的语音特征；所述当前语音信息包含的语音元素所对应的当前面部驱动参数为所述当前语音信息包含的语音特征所对应的当前面部驱动参数；所述预设的语音元素与面部驱动参数的映射关系为语音特征与面部驱动参数的映射关系；所述对所述当前语音信息进行处理，获得所述当前语音信息包含的语音元素，包括：

对所述当前语音信息的音频信号进行语音特征提取，获取所述当前语音信息包含的语音特征。

6.根据权利要求1所述的方法，其特征在于，所述待输出的当前语音信息是在时间轴上连续的语音信息；对应的，所述获得对应于所述当前语音信息的当前面部视频帧，是形成与所述语音信息对应的时间轴上连续的面部视频。

7.根据权利要求1所述的方法，其特征在于，在将所述当前面部帧图与所述预定的虚拟人脸面部模板进行贴合之后，还包括：对贴合结果进行对抗优化。

8.根据权利要求1所述的方法，其特征在于，所述面部驱动参数为多维度的面部动画向量，所述将所述当前面部驱动参数和预定的虚拟人脸面部模板结合，包括：

将所述多维度的面部动画向量与所述预定的虚拟人脸面部模板进行叠加，获得当前面部帧图。

9.根据权利要求1所述的方法，其特征在于，所述面部驱动参数包括：

口型参数和用于反映情绪状态的表情参数。