[发明专利]一种虚拟形象合成方法、装置、电子设备及存储介质

权利要求书

1.一种虚拟形象合成方法，其特征在于，包括：

获取与文本信息对应的音频；

获取与所述音频对应的面部特征点序列；

根据所述面部特征点序列获取视频；

将所述音频和所述视频结合获得虚拟形象，并将所述虚拟形象通过不同的端口输出。

2.根据权利要求1所述的方法，其特征在于，所述获取与文本信息对应的音频，包括：

响应于检测到用户的输入指令，获取所述文本信息；

确定所述文本信息对应的时长；

将所述文本信息和所述时长输入预先训练的语音合成模型获取所述音频，其中，所述语音合成系统用于按照所述时长将所述文本信息转换为所述音频。

3.根据权利要求1所述的方法，其特征在于，所述获取与所述音频对应的面部特征点序列，包括：

根据所述音频获取音频帧序列；

将所述音频帧序列输入预先训练的特征点预测模型，获取面部特征点序列，其中，所述面部特征点序列中包含多组面部特征点，所述特征点预测模型用于确定每一个音频帧所对应的一组面部特征点。

4.根据权利要求3所述的方法，其特征在于，所述将所述音频帧序列输入预先训练的特征点预测模型，获取面部特征点序列之前，还包括：

获取媒体文件，其中，所述媒体文件中包含样本音频以及同步播放的面部视频；

从所述音频中提取样本音频帧，以及从所述视频中提取与所述样本音频帧同步的样本视频帧；

提取所述样本视频帧中所包含的样本面部特征点；

根据所述样本音频帧和所述样本面部特征点对所述特征点预测模型进行训练。

5.根据权利要求1所述的方法，其特征在于，所述根据所述面部特征点序列获取视频，包括：

获取面部标准模板；

将每一组面部特征点添加到所述面部标准模板，获取每一帧面部图像；

将每一帧所述面部图像按帧顺序依次连接获取所述视频。

6.根据权利要求1所述的方法，其特征在于，将所述音频和所述视频结合获得虚拟形象，并将所述虚拟形象通过不同的端口输出，包括：

将所述音频和所述视频按照相同的时间轴进行音频帧和视频帧的组合，获得所述虚拟形象；

将所述虚拟形象通过不同的端口输出，其中，每一个端口分别对应不同的标记。

7.根据权利要求6所述的方法，其特征在于，将所述虚拟形象通过不同的端口输出，包括：

将所述标记添加到所述虚拟形象；

将添加标记的虚拟形象通过对应的端口进行输出。

8.根据权利要求7所述的方法，其特征在于，不同的端口所输出的添加标记的虚拟形象互不相同。

9.根据权利要求1所述的方法，其特征在于，所述视频和所述音频的帧数相同。

10.一种虚拟形象合成装置，其特征在于，包括：

音频获取模块，用于获取与文本信息对应的音频；

面部特征点序列获取模块，用于获取与所述音频对应的面部特征点序列；

视频获取模块，用于根据所述面部特征点序列获取视频；

虚拟形象输出模块，用于将所述音频和所述视频结合获得虚拟形象，并将所述虚拟形象通过不同的端口输出。

11.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9任一所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9任一所述的方法。