[发明专利]一种用于个性化语音生成的语音转换方法

说明书

本发明使用基于音素的信息瓶颈来表征说话人风格和控制转换语音的速度，由内容编码器、说话人编码器、音素时长转换器、解码器和声码器组成。通过编码器和解码器之间的信息瓶颈从源语音中分离出内容信息，并将其与目标说话人嵌入一起输入解码器，最后输入声码器并生成转换后的语音。本发明通过引入持续时长转换器，利用设计好的音素级信息瓶颈来分离说话人内容信息和说话人风格信息，可以适用于零次学习，对训练数据集外的语音也同样适用。

技术领域

本发明涉及语音转化领域，具体涉及一种用于个性化语音生成的语音转换方法。

背景技术

随着人工智能产品的不断落地，需要用到个性化语音的场景越来越多。语音转换就是一种很好的生成个性化语音的技术，它是在不改变语言内容的情况下，将源说话人语音转换为目标说话人语音，使得转换后的语音听起来就像是目标说话人的声音一样。传统语音转换方法使用统计模型明确表示转换函数形式，将源说话人的声学特征转换为目标说话人的声学特征。最近的研究则使用深度神经网络来取代传统方法进行语音转换，如前馈神经网络、递归神经网络等，并随着WaveNet等声码器的引入，大大提高了语音生成的质量。然而，大多数的转换方法都是采用平行语料进行训练的模式中，需要源说话人和目标说话人提供相同语句内容的声音数据。而非平行语音转换技术相对于平行语音转换就没有平行数据、时间对齐这些限制，因此数据收集简单、花费成本低。

发明内容

本发明使用基于音素的信息瓶颈来表征说话人风格和控制转换语音的速度，由内容编码器、说话人编码器、音素时长转换器、解码器和声码器组成。通过编码器和解码器之间的信息瓶颈从原语音中分离出内容信息，并将其与目标说话人嵌入一起输入解码器，最后输入声码器并生成转换后的语音。内容编码器由Conformer模块组成，它将源说话人的Mel谱图转换为隐藏的表示序列。音素时长转换器由下采样器、上采样器、音素预测器和时长预测器组成，用来控制语音音素的持续时间长度，同时转换说话人的风格。解码器由Conformer模块组成，将目标说话人隐藏的序列表示转换成Mel谱图。同时为了使初始估计并重建后的Mel谱图更精细，在解码器末端使用PostNet来提高生成的Mel谱图的质量。整个转换系统的损失函数由自重构损失、音素预测损失、持续时间预测损失、周期循环一致性损失和说话人分类损失构成。

本发明提出一种用于个性化语音生成的语音转换方法，包括以下步骤：

步骤1，训练转换模型，获取源说话人的语音数据库，提取出两个不同片段的源说话人Mel谱图序列X_u＝[x_u,x_u+1,…,x_u+N]和X_v＝[x_v,x_v+1,…,x_v+N]，作为训练用的语音特征；其中u和v为Mel谱图序列开始的序号，N为提取的Mel谱图序列长度；

步骤2，将提取的Mel谱图序列经过内容编码器E_c将Mel谱图编码为Mel谱图隐藏序列，表示为：

C_u＝E_c(X_u) ⑼

C_v＝E_c(X_v) ⑽

步骤3，同时将这两个不同片段的源说话人语音输入到说话人编码器E_s得到说话人嵌入S_u和S_v，表示为：

S_u＝E_s(X_u) ⑾

S_v＝E_s(X_v) ⑿