[发明专利]基于虚拟人物的语音合成方法、装置、介质及设备

权利要求书

1.一种基于虚拟人物的语音合成方法，其特征在于，所述方法包括：

获取待合成文本对应的语音特征信息以及获取用于对所述待合成文本进行语音合成的乐理特征信息；

将所述语音特征信息和所述乐理特征信息输入语音合成模型，获得与所述待合成文本对应的声学特征和面部图像特征，所述声学特征和所述面部图像特征的序列对齐；

根据所述声学特征，获得与所述待合成文本对应的音频信息；

在所述虚拟人物上输出所述音频信息，并根据所述面部图像特征控制所述虚拟人物的面部状态显示；

其中，所述语音合成模型是通过如下方式获得的：

获取输入样本集和输出样本集，其中，所述输入样本集包括文本样本和音乐样本，所述输出样本集包括录制的与所述文本样本和所述音乐样本对应音频数据和图像数据；

将文本样本和音乐样本输入信息提取模型，以获得所述文本样本对应的语音特征信息和所述音乐样本对应的乐理特征信息；

将所述文本样本对应的语音特征信息和所述音乐样本对应的乐理特征信息输入至所述语音合成模型，获得训练声学特征和训练面部图像特征以及停止标识，其中，所述停止标识用于指示所述训练声学特征和所述训练面部图像特征对应的序列停止；

根据所述训练声学特征、目标声学特征、训练面部图像特征、目标面部图像特征以及停止标识确定所述语音合成模型的目标损失，在所述目标损失小于预设阈值时结束训练，其中，所述目标声学特征是基于所述音频数据获得的，所述目标面部图像特征是基于所述图像数据获得的。

2.根据权利要求1所述的方法，其特征在于，所述语音合成模型是由图像子模型和声学子模型联合训练获得的，以使所述声学特征和所述面部图像特征的序列对齐。

3.根据权利要求2所述的方法，其特征在于，所述声学子模型用于对所述语音特征信息和所述乐理特征信息进行联合处理，以获得清唱和伴奏分别对应的声学特征。

4.根据权利要求1所述的方法，其特征在于，所述根据所述训练声学特征、目标声学特征、训练面部图像特征、目标面部图像特征以及停止标识确定所述语音合成模型的目标损失，包括：

根据所述训练声学特征以及与所述训练声学特征对应的目标声学特征，确定所述训练声学特征的损失；

根据所述训练面部图像特征以及与所述训练面部图像特征对应的目标面部图像特征，确定所述训练面部图像特征的损失；

基于交叉熵损失函数确定所述停止标识的损失；

根据所述训练声学特征的损失、所述训练面部图像特征的损失和所述停止标识的损失确定所述目标损失。

5.根据权利要求2所述的方法，其特征在于，所述图像子模型基于超分辨率测试序列VGG网络实现，所述训练面部图像特征为由所述图像子模型的隐层输出的特征。

6.根据权利要求1所述的方法，其特征在于，所述获取用于对所述待合成文本进行语音合成的乐理特征信息，包括：

接收音乐选择指令，将所述音乐选择指令对应的音乐确定为目标音乐；

从所述目标音乐中提取所述乐理特征信息；

或者将待合成的乐谱数据输入信息提取模型，获得所述乐理特征信息。