[发明专利]一种语音合成方法、装置和用于语音合成的装置

说明书

本发明实施例提供了一种语音合成方法、装置和用于语音合成的装置。其中的方法包括：获取文本数据、至少一个说话人标识、以及风格标识；将所述文本数据、所述至少一个说话人标识、以及所述风格标识输入语音合成模型，所述语音合成模型根据所述文本数据、所述说话人标识对应的音色模型参数、以及所述风格标识对应的韵律模型参数进行语音合成，得到合成语音数据；所述语音合成模型包括不同音色特征的音频训练数据训练得到的音色模型参数，以及不同风格特征的音频训练数据训练得到的韵律模型参数。本发明实施例可以合成不同音色不同风格的目标音频，扩展语音合成模型的适用范围，降低对训练数据的要求以及降低训练数据的采集成本。

技术领域

本发明涉及语音处理技术领域，尤其涉及一种语音合成方法、装置和用于语音合成的装置。

背景技术

随着深度学习的发展，语音合成技术进入到端到端的发展阶段。端到端的语音合成模型能够基于输入的文本，直接输出与该文本对应的语音。

语音合成技术广泛应用在智能问答、语音播报、有声读物、虚拟主播等场景中。端到端的语音合成技术合成的语音风格较为单一，在某些场景下，需要合成同一个说话人不同风格的语音。这就需要针对每个说话人，分别使用每个说话人录制的不同风格的语音作为训练数据，分别生成用于合成一个说话人的单一风格的语音合成模型，不仅训练开销大，而且语音合成模型仅可以生成单一风格的语音，导致语音合成模型的适用范围较为局限。

发明内容

本发明实施例提供一种语音合成方法、装置和用于语音合成的装置，可以合成不同音色不同风格的目标音频，扩展语音合成模型的适用范围，并且降低对训练数据的要求以及降低训练数据的采集成本。

为了解决上述问题，本发明实施例公开了一种语音合成方法，所述方法包括：

获取文本数据、至少一个说话人标识、以及风格标识；

将所述文本数据、所述至少一个说话人标识、以及所述风格标识输入语音合成模型，所述语音合成模型根据所述文本数据、所述说话人标识对应的音色模型参数、以及所述风格标识对应的韵律模型参数进行语音合成，得到合成语音数据；

其中，所述语音合成模型包括不同音色特征的音频训练数据训练得到的音色模型参数，以及不同风格特征的音频训练数据训练得到的韵律模型参数。

可选地，所述方法还包括：

获取音频训练数据，所述音频训练数据包括不同音色特征以及不同风格特征的音频数据；

从所述音频训练数据中提取韵律特征；

将提取的韵律特征输入解码器，训练语音合成模型，所述语音合成模型包括编码器参数、韵律提取参数、音色模型参数、韵律模型参数；

从所述音频训练数据中分别选取单一音色特征的音频数据，并固定所述语音合成模型中的编码器参数和韵律提取参数不变，分别训练不同音色特征对应的音色模型参数；

从所述音频训练数据中分别选取单一音色特征以及单一风格特征的音频数据，并固定所述语音合成模型中的编码器参数和韵律提取参数不变，分别训练不同风格特征的韵律模型参数。

可选地，所述从所述音频训练数据中提取韵律特征，包括：

从所述音频训练数据中提取声学特征；

从提取的声学特征中提取层级变分自动编码器向量；

所述将提取的韵律特征输入解码器，训练语音合成模型，包括：

将提取的层级变分自动编码器向量作为韵律特征输入解码器，基于提取的声学特征训练语音合成模型。

可选地，所述根据所述文本数据、所述说话人标识对应的音色模型参数、以及所述风格标识对应的韵律模型参数进行语音合成，得到合成语音数据，包括：