[发明专利]语音合成方法及模型训练方法、装置、设备及存储介质

说明书

本申请公开了一种语音合成方法及模型训练方法、装置、设备及存储介质，涉及机器学习与智能语音等人工智能技术领域。具体实现方案为：基于待合成语音的文本信息、音色信息和韵律信息，采用预先训练的语音合成模型，生成待合成语音的声学特征信息；基于所述待合成语音的声学特征信息，采用预先训练的声码器，合成相应的语音。采用本申请的技术方案，在合成语音时，可以采用任意的文本信息、音色信息和韵律信息，任意组合，合成想要的语音，合成语音的方式非常灵活、方便。

技术领域

本申请涉及计算机技术领域，具体涉及机器学习与智能语音等人工智能技术领域，尤其涉及一种语音合成方法及模型训练方法、装置、设备及存储介质。

背景技术

近年来，随着语音技术的日趋成熟，语音合成技术正逐步应用于语音交互、声音播报、个性化声音制作等语音信号处理系统中。在社会与商业领域，合成音作为一种声音的展现，给社会生活带来便利与丰富性，具有潜在广阔的使用价值。

现有的语音合成技术是利用大量的高质量语音数据来训练对应的模型，但是高质量语音数据获取成本很高。个性化语音合成能够利用目标发音人少量的录音和文本数据快速构建合成系统，产生目标发音人音色的合成语音。随着个性化语音合成在市场上变得越来越受关注，用户对个性化语音对需求也变得越来越丰富，其中韵律、音色、内容是语音中的三种重要信息，如何将这些信息任意进行组合是个性化语音合成的未来方向之一。

发明内容

本申请提供了一种语音合成方法及模型训练方法、装置、设备及存储介质。

根据本申请的一方面，提供了一种语音合成方法，其中，所述方法，包括：

基于待合成语音的文本信息、音色信息和韵律信息，采用预先训练的语音合成模型，生成待合成语音的声学特征信息；

基于所述待合成语音的声学特征信息，采用预先训练的声码器，合成相应的语音。

根据本申请的另一方面，提供了一种语音合成模型的训练方法，其中，所述方法包括：

基于采集的数条训练语音的音频，构建第一训练数据集；

基于所述第一训练数据集，对包括语音转换编码器和语音转换解码器的语音转化模型进行训练，以实现对所述语音合成模型中的所述语音转换解码器进行训练；

基于采集的数条训练文本、描述各所述训练文本的训练语音的音频以及已训练的所述语音转换编码器，构建第二训练数据集；

基于所述第二训练数据集，对所述语音合成模型中的深度信息合成模块进行训练。

根据本申请的再一方面，提供了一种语音合成装置，其中，所述装置，包括：

生成模块，用于基于待合成语音的文本信息、音色信息和韵律信息，采用预先训练的语音合成模型，生成待合成语音的声学特征信息；

合成模块，用于基于所述待合成语音的声学特征信息，采用预先训练的声码器，合成相应的语音。

根据本申请的又一方面，提供了一种语音合成模型的训练装置，其中，所述装置包括：

第一构建模块，用于基于采集的数条训练语音的音频，构建第一训练数据集；

第一训练模块，用于基于所述第一训练数据集，对包括语音转换编码器和语音转换解码器的语音转化模型进行训练，以实现对所述语音合成模型中的所述语音转换解码器进行训练；

第二构建模块，用于基于采集的数条训练文本、描述各所述训练文本的训练语音的音频以及已训练的所述语音转换编码器，构建第二训练数据集；

第二训练模块，用于基于所述第二训练数据集，对所述语音合成模型中的深度信息合成模块进行训练。

根据本申请的再另一方面，提供了一种电子设备，包括：