[发明专利]基于说话人的语音合成方法、模型训练方法及相关设备

说明书

本发明涉及语音处理技术领域，提供一种基于说话人的语音合成方法、模型训练方法及相关设备。所述基于说话人的语音合成方法包括：获得待合成文本，将所述待合成文本转换成文本向量；随机确定一说话人标识，对所述文本向量进行基于所述说话人标识的映射，获得特征向量；根据所述特征向量，通过一声学模型获得声学特征；以及根据所述声学特征，通过一声码器合成目标音频。本发明在进行语音合成时，对待合成文本对应的文本向量进行基于说话人标识的映射，获得包含文本信息和说话人信息的特征向量，实现基于特定说话人的音色进行语音合成，提升用户的交互体验。

技术领域

本发明涉及语音处理技术领域，具体地说，涉及一种基于说话人的语音合成方法、模型训练方法及相关设备。

背景技术

随着深度学习技术的不断发展，基于神经网络的语音合成技术也愈加成熟。对于在线旅行社，每天需要外呼大量的电话，采用基于语音合成技术的机器人进行外呼，可以节省大量的人力物力。

但是，现有的语音合成模型大多基于单一说话人，导致外呼机器人只有一种声音，用户多次接到同一种声音的机器人电话，体验较差。

现有技术中，迁移不同说话人的音色的常见做法是在已经训练好的模型上进行微调(Fine-tune)或者重新开始训练，这样就导致若想实现基于多说话人的音色进行语音合成，需要针对每一个说话人训练一个模型，大大增加了模型训练成本，也无法同时上线部署多个模型。

需要说明的是，上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本发明提供一种基于说话人的语音合成方法、模型训练方法及相关设备，实现基于特定说话人的音色进行语音合成，提升用户的交互体验。

本发明的一个方面提供一种基于说话人的语音合成方法，包括：获得待合成文本，将所述待合成文本转换成文本向量；随机确定一说话人标识，对所述文本向量进行基于所述说话人标识的映射，获得特征向量；根据所述特征向量，通过一声学模型获得声学特征；以及根据所述声学特征，通过一声码器合成目标音频。

在一些实施例中，所述说话人标识自说话人库中随机确定；所述声码器经训练，用于将所述说话人库中任一说话人标识对应的声学特征转换成具有所述说话人标识对应的说话人音色的目标音频。

在一些实施例中，所述对所述文本向量进行基于所述说话人标识的映射，包括：将所述文本向量和所述说话人标识输入一嵌入层，获得包含所述文本向量对应的文本特征和所述说话人标识对应的说话人特征的特征向量。

在一些实施例中，所述声学模型包括编码器和解码器，所述编码器包括依次相连的多层卷积神经网络和多层双向长短期记忆网络，所述解码器包括依次相连的多层双向长短期记忆网络和一线性层，且所述编码器的最后层双向长短期记忆网络与所述解码器的第一层双向长短期记忆网络相连。

在一些实施例中，所述通过一声学模型获得声学特征，包括：将所述特征向量输入所述声学模型，依次经所述编码器的多层所述卷积神经网络和多层所述双向长短期记忆网络、以及所述解码器的多层所述双向长短期记忆网络和所述线性层处理后，生成预设维度的声学特征。

在一些实施例中，所述将所述待合成文本转换成文本向量，包括：对所述待合成文本进行正则化处理；对正则化处理后的待合成文本进行分词，获得预设格式的分词文本；将所述分词文本转换成包含音节信息和声调信息的拼音序列；以及根据字典查找，将所述拼音序列转换成文本向量。

本发明的另一个方面提供一种模型训练方法，包括：获得对应不同说话人的样本文本及每个所述样本文本的真实声学特征和目标声学特征；将所述样本文本转换成包含说话人特征的样本文本向量；至少基于卷积神经网络和双向长短期记忆网络构建一声学模型；以及，以所述样本文本向量和所述真实声学特征为输入，以所述目标声学特征为输出，训练所述声学模型，至所述声学模型收敛。