[发明专利]说话头视频合成方法、装置、终端设备及可读存储介质

权利要求书

1.一种说话头视频合成方法，其特征在于，包括：

获取目标文本和目标图像，所述目标图像中包含目标用户的脸部图像；

确定所述目标文本对应的声学特征，并确定所述目标图像对应的副语言特征；

根据所述目标文本对应的声学特征和所述目标图像对应的副语言特征，得到所述目标文本对应的合成语音；

确定所述目标文本对应的目标嘴部动作序列，并根据所述目标嘴部动作序列和所述目标图像，得到所述目标用户对应的脸部动作视频；

对所述合成语音和所述脸部动作视频进行同步处理，得到所述目标用户对应的说话头视频。

2.根据权利要求1所述的方法，其特征在于，在所述确定所述目标图像对应的副语言特征之前，所述方法还包括：

获取训练图像集；

对于所述训练图像集中的每一训练图像，确定所述训练图像对应的第一训练语音；

通过预设的副语言表征模型，确定所述第一训练语音对应的副语言特征，并将所述第一训练语音对应的副语言特征确定为所述训练图像对应的副语言特征；

利用各所述训练图像和各所述训练图像对应的副语言特征，训练得到副语言预测模型，所述副语言预测模型用于根据目标图像，预测所述目标图像对应的副语言特征。

3.根据权利要求2所述的方法，其特征在于，在所述通过预设的副语言表征模型，确定所述训练语音对应的副语言特征之前，所述方法还包括：

获取第一训练文本对应的第二训练语音，所述第二训练语音为第一用户对应的语音；

获取第二训练文本对应的第三训练语音和第四训练语音，所述第三训练语音为所述第一用户对应的语音，所述第四训练语音为第二用户对应的语音；

利用初始的副语言表征模型，获取所述第二训练语音对应的副语言特征；

根据所述第二训练语音对应的副语言特征对所述第四训练语音进行转换，得到第五训练语音；

根据所述第三训练语音和所述第五训练语音，调整所述副语言表征模型的模型参数，直至所述第三训练语音和所述第五训练语音之间的误差满足预设条件，得到预设的副语言表征模型。

4.根据权利要求1所述的方法，其特征在于，所述确定所述目标文本对应的目标嘴部动作序列，包括：

确定所述目标文本对应的目标音素序列；

根据所述目标音素序列，确定所述目标文本对应的第一候选嘴部动作序列；

根据所述目标音素序列，获取所述目标文本对应的声学特征，并根据所述声学特征，确定所述目标文本对应的第二候选嘴部动作序列；

对所述第一候选嘴部动作序列和所述第二候选嘴部动作序列进行融合，得到所述目标文本对应的目标嘴部动作序列。

5.根据权利要求4所述的方法，其特征在于，在所述根据所述目标音素序列，确定所述目标文本对应的第一候选嘴部动作序列之前，所述方法还包括：

获取视频数据集，所述视频数据集包括多条视频数据；

对于每一视频数据，确定所述视频数据对应的训练音素序列；

确定所述训练音素序列中的各训练音素对应的第一初始嘴部动作；

对于每一训练音素，根据所述训练音素对应的各第一初始嘴部动作，确定所述训练音素对应的第一训练嘴部动作；

根据各训练音素对应的第一训练嘴部动作，确定各所述训练音素序列对应的第一训练嘴部动作序列；

利用各所述训练音素序列和各所述训练音素序列对应的第一训练嘴部动作序列，训练得到第一预测模型，所述第一预测模型用于根据音素序列，预测第一候选嘴部动作序列。