[发明专利]语音合成方法、装置、设备及存储介质

权利要求书

1.一种语音合成方法，其特征在于，包括：

获取原始文本、所述原始文本对应的音素序列，以及待合成语音的说话人特征；

将所述原始文本及所述音素序列进行特征融合，得到融合特征；

基于所述融合特征及所述说话人特征进行编解码处理，得到声学频谱；

基于所述声学频谱进行语音合成，得到合成语音。

2.根据权利要求1所述的方法，其特征在于，获取待合成语音的说话人特征，包括：

获取预先配置的与所述待合成语音的说话人对应的说话人特征；

或，

获取说话人语音信息，所述说话人语音信息为所述待合成语音的说话人的语音信息；

利用说话人编码器处理所述说话人语音信息，以得到待合成语音的说话人特征。

3.根据权利要求1所述的方法，其特征在于，所述将所述原始文本及所述音素序列进行特征融合，得到融合特征，包括：

获取所述原始文本的字符嵌入向量，以及所述音素序列的音素嵌入向量；

对所述字符嵌入向量和所述音素嵌入向量进行整合，得到融合特征。

4.根据权利要求1所述的方法，其特征在于，所述基于所述融合特征及所述说话人特征进行编解码处理，得到声学频谱，包括：

对所述融合特征进行编码处理，得到编码特征；

将所述编码特征与所述说话人特征进行拼接，得到拼接特征；

基于所述拼接特征进行解码处理，得到声学频谱。

5.根据权利要求4所述的方法，其特征在于，所述对所述融合特征进行编码处理，得到编码特征，包括：

将所述融合特征输入文本编码器，得到文本编码器输出的编码特征，其中，所述文本编码器被配置为，用于输出与说话人信息无关的编码特征。

6.根据权利要求5所述的方法，其特征在于，所述文本编码器的预配置过程，包括：

对所述文本编码器与预设的说话人分类器进行对抗训练，训练时所述说话人分类器以所述文本编码器输出的编码特征为依据，预测对应的说话人类别，所述说话人分类器的分类准确率越高，则调整所述文本编码器的对抗损失越大。

7.根据权利要求4所述的方法，其特征在于，所述基于所述拼接特征进行解码处理，得到声学频谱，包括：

对所述拼接特征进行基于注意力机制的处理，以得到注意力编码特征；

至少基于所述注意力编码特征进行解码处理，得到声学频谱。

8.根据权利要求7所述的方法，其特征在于，所述至少基于所述注意力编码特征进行解码处理，得到声学频谱，包括：

基于所述注意力编码特征进行解码处理，得到声学频谱；

或，

基于所述注意力编码特征及所述说话人特征进行解码处理，得到声学频谱。

9.根据权利要求8所述的方法，其特征在于，所述基于所述注意力编码特征进行解码处理，得到声学频谱，包括：

由所述解码器对所述注意力编码特征进行解码，得到解码后的频谱帧以及每一频谱帧作为解码结束位置的概率；

基于所述解码结束位置的概率，确定解码结束位置的频谱帧，并由解码结束位置的频谱帧及之前的各频谱帧生成梅尔频谱，作为声学频谱。

10.根据权利要求1-9任一项所述的方法，其特征在于，得到融合特征，以及基于融合特征和说话人特征进行编解码处理，得到声学频谱的过程，基于预训练的语音合成模型实现；

所述语音合成模型，以拟合训练数据的分布以及预训练的单语种语音合成模型的输出为目标进行训练。