[发明专利]语音合成方法、装置、可读介质及电子设备

权利要求书

1.一种语音合成方法，其特征在于，所述方法包括：

获取用户输入的待复制声音和目标模板，所述待复制声音为由用户发音的任意长度的声音片段；

从所述待复制声音中提取得到待复制频谱数据；

确定与所述目标模板对应的模板文字信息；

根据所述待复制频谱数据和所述模板文字信息确定与所述目标模板和所述待复制声音中的音色对应的目标频谱数据；

将所述目标频谱数据合成为目标语音波形数据；

所述根据所述待复制频谱数据和所述模板文字信息确定与所述目标模板和所述待复制声音中的音色对应的目标频谱数据包括：

通过预设神经网络声学模型来根据所述待复制频谱数据和所述模板文字信息确定与所述目标模板和所述待复制声音中的音色对应的目标频谱数据；

其中，所述预设神经网络声学模型中包括预设转换子模型；所述预设转换子模型用于：

以与待复制频谱数据对应的目标说话人表征向量与模板文字信息为输入，并以待复制频谱数据为输出；或者，以待复制频谱数据中的目标说话人表征与模板文字信息为输入，并以目标频谱数据为输出。

2.根据权利要求1所述的方法，其特征在于，所述通过预设神经网络声学模型来根据所述待复制频谱数据和所述模板文字信息确定与所述目标模板和所述待复制声音中的音色对应的目标频谱数据包括：

根据所述待复制频谱数据和所述模板文字信息对所述预设神经网络声学模型进行训练，以得到与所述待复制频谱数据对应的目标神经网络声学模型；

将所述模板文字信息作为所述目标神经网络声学模型的输入以得到所述目标频谱数据。

3.根据权利要求2所述的方法，其特征在于，所述预设神经网络声学模型中还包括预设说话人确认网络子模型，所述根据所述待复制频谱数据和所述模板文字信息对所述预设神经网络声学模型进行训练，以得到与所述待复制频谱数据对应的目标神经网络声学模型包括：

将所述待复制频谱数据作为所述预设说话人确认网络子模型的输入，以提取与所述待复制频谱数据对应的目标说话人表征向量；

将所述目标说话人表征向量与所述模板文字信息作为所述预设转换子模型的输入，并将所述待复制频谱数据作为所述转换子模型的输出以进行训练，以得到所述目标神经网络声学模型。

4.根据权利要求1所述的方法，其特征在于，所述预设神经网络声学模型中还包括预设说话人语音特征编码模块，所述通过预设神经网络声学模型来根据所述待复制频谱数据和所述模板文字信息确定与所述目标模板和所述待复制声音中的音色对应的目标频谱数据包括：

通过所述预设说话人语音特征编码模块得到所述待复制频谱数据中的目标说话人表征；

将所述目标说话人表征与所述模板文字信息作为所述预设转换子模型的输入，以得到所述目标频谱数据。

5.根据权利要求1至4中任一权利要求所述的方法，其特征在于，在所述目标模板为歌曲模板的情况下，所述模板文字信息中至少包括歌词音素信息和音乐信息。

6.根据权利要求5所述的方法，其特征在于，所述音乐信息中至少包括音调信息，所述确定与所述目标模板对应的模板文字信息包括：

从所述待复制声音中提取基频数据；

根据所述基频数据对所述目标模板中的音调信息进行调整；

将包括调整后的音调信息的模板文字信息作为所述目标模板的所述模板文字信息。