[发明专利]语音合成方法、装置、设备及存储介质

权利要求书

1.一种语音合成方法，其特征在于，包括：

获取待处理文本和待合成说话风格音频，并将所述待处理文本和所述待合成说话风格音频输入预置语音合成模型，其中，所述预置语音合成模型包括多参考编码器、文本编码器、全连接层和输出层；

基于所述多参考编码器对所述待合成说话风格音频进行编码，得到风格嵌入向量信息；

基于所述文本编码器对所述待处理文本进行编码，得到文本编码向量信息；

通过所述全连接层对所述风格嵌入向量信息和所述文本编码向量信息进行拼接，生成梅尔语谱图；

通过所述输出层对所述梅尔语谱图进行特征提取，并输出所述待处理文本的目标音频。

2.如权利要求1所述的语音合成方法，其特征在于，所述多参考编码器包括多个参考编码器和多头注意力机制；所述待合成说话风格音频包括音色说话风格音频、情感说话风格音频和韵律说话风格音频；

所述基于所述多参考编码器对所述待合成说话风格音频进行编码，得到风格嵌入向量信息，包括：

根据多个所述参考编码器分别对所述音色说话风格音频、情感说话风格音频和韵律说话风格音频进行编码，得到参考嵌入隐向量信息；

根据所述多头注意力机制计算所述参考嵌入隐向量信息，得到风格嵌入向量信息。

3.如权利要求2所述的语音合成方法，其特征在于，所述根据多个所述参考编码器对所述所述待合成说话风格音频进行编码，得到参考嵌入隐向量信息，包括：

通过多个所述参考编码器中的卷积神经网络对所述音色说话风格音频、情感说话风格音频和韵律说话风格音频进行编码，得到所述待合成说话风格音频的三维张量；

通过所述参考编码器中的循环神经网络对所述三维张量进行处理，得到所述待合成说话风格音频的参考嵌入隐向量信息。

4.如权利要求2所述的语音合成方法，其特征在于，所述根据所述多头注意力机制计算所述参考嵌入隐向量信息，得到风格嵌入向量信息，包括：

获取所述多头注意力机制中各个预置风格标记对所述所述音色说话风格音频、所述情感说话风格音频和所述韵律说话风格音频的风格权重；

通过各个所述预置风格标记对所述所述音色说话风格音频、所述情感说话风格音频和所述韵律说话风格音频的风格权重乘以所述参考嵌入隐向量信息，得到各个所述预置风格标记的风格嵌入向量；

累加各个所述预置风格标记的风格嵌入向量，得到所述待合成说话风格音频的风格嵌入向量信息。

5.如权利要求1所述的语音合成方法，其特征在于，所述基于所述文本编码器对所述待处理文本进行编码，得到文本编码向量信息，包括：

通过所述文本编码器将所述待处理文本拆分为各个字词，并获取各个字词之间的顺序关系；

对各个字词以及各个所述字词之间的顺序关系进行映射转换，生成所述待合成文本的文本编码向量信息。

6.如权利要求1所述的语音合成方法，其特征在于，所述全连接层包括连接层和预置解码器；通过所述全连接层对所述风格嵌入向量信息和所述文本编码向量信息进行拼接，生成梅尔语谱图，包括：

通过所述连接层广播获取所述风格嵌入向量信息，并将获取到的风格嵌入向量信息与所述文本编码向量信息进行连接，得到拼接向量信息；

通过所述预置解码器对所述拼接向量信息进行解码，生成梅尔语谱图。

7.如权利要求1所述的语音合成方法，其特征在于，所述通过所述输出层对所述梅尔语谱图进行特征提取，并输出所述待处理文本的目标音频，包括：

通过所述输出层提取所述梅尔频谱信息中的语音频域特征，并对所述语音频域特征进行映射，输出所述待处理文本的目标音频。