[发明专利]说话头视频合成方法、装置、终端设备及可读存储介质

说明书

本申请适用于终端技术领域，尤其涉及说话头视频合成方法、装置、终端设备及计算机可读存储介质。该方法中，终端设备获取目标文本和目标图像后，确定目标文本对应的声学特征和目标图像对应的副语言特征，以根据目标文本对应的声学特征和目标图像对应的副语言特征得到目标文本对应的合成语音。另外，终端设备确定目标文本对应的目标嘴部动作序列，并根据目标嘴部动作序列和目标图像得到目标用户对应的脸部动作视频。最后，终端设备对合成语音和脸部动作视频进行同步处理，得到目标用户对应的说话头视频。即本申请可以结合目标用户对应的副语言特征，得到目标文本对应的合成语音，使得说话头视频中包含符合用户期望的副语言信息，提升用户体验。

技术领域

本申请属于终端技术领域，尤其涉及一种说话头视频合成方法、装置、终端设备及计算机可读存储介质。

背景技术

说话头视频合成是指根据一段文本和指定的脸部图像，输出对应该文本和该脸部图像的一段说话头的多模态视频(即包含合成的语音和说话时的脸部动作等)。但目前的说话头视频合成方法中，输入的脸部图像仅影响输出的视觉信息(即说话头视频的图像部分)，而并未考虑说话人的脸部特征对说话人的副语言信息(例如声纹，年龄、语速等)的影响，降低了用户体验。

发明内容

本申请实施例提供了一种说话头视频合成方法、装置、终端设备及计算机可读存储介质，可以解决现有的说话头视频合成未考虑说话人的脸部特征对说话人的副语言信息的影响，降低用户体验的问题。

第一方面，本申请实施例提供了一种说话头视频合成方法，可以包括：

获取目标文本和目标图像，所述目标图像中包含目标用户的脸部图像；

确定所述目标文本对应的声学特征，并确定所述目标图像对应的副语言特征；

根据所述目标文本对应的声学特征和所述目标图像对应的副语言特征，得到所述目标文本对应的合成语音；

确定所述目标文本对应的目标嘴部动作序列，并根据所述目标嘴部动作序列和所述目标图像，得到所述目标用户对应的脸部动作视频；

对所述合成语音和所述脸部动作视频进行同步处理，得到所述目标用户对应的说话头视频。

在上述的说话头视频合成方法中，终端设备可以获取目标文本和目标图像，目标图像中包含目标用户的脸部图像。随后，终端设备可以确定目标文本对应的声学特征，并确定目标图像对应的副语言特征，以根据目标文本对应的声学特征和目标图像对应的副语言特征，得到目标文本对应的合成语音。另外，终端设备可以确定目标文本对应的目标嘴部动作序列，并根据目标嘴部动作序列和目标图像，得到目标用户对应的脸部动作视频。最后，终端设备可以对合成语音和脸部动作视频进行同步处理，得到目标用户对应的说话头视频。即本申请实施例中，终端设备可以根据目标图像确定目标用户对应的副语言特征，从而可以结合目标用户对应的副语言特征，得到目标文本对应的合成语音，使得说话头视频中的合成语音包含符合用户期望的副语言信息，提升用户体验。

在一个示例中，在所述确定所述目标图像对应的副语言特征之前，所述方法还可以包括：

获取训练图像集；

对于所述训练图像集中的每一训练图像，确定所述训练图像对应的第一训练语音；

通过预设的副语言表征模型，确定所述第一训练语音对应的副语言特征，并将所述第一训练语音对应的副语言特征确定为所述训练图像对应的副语言特征；

利用各所述训练图像和各所述训练图像对应的副语言特征，训练得到副语言预测模型，所述副语言预测模型用于根据目标图像，预测所述目标图像对应的副语言特征。

示例性的，在所述通过预设的副语言表征模型，确定所述训练语音对应的副语言特征之前，所述方法还可以包括：