[发明专利]一种基于深度学习的有声书韵律语音合成方法

权利要求书

1.一种基于深度学习的有声书韵律语音合成方法，其特征在于，通过说话人编码器、声学模型和声码器三大模块进行文本内容的音频合成，包括以下步骤：

步骤S1：从数据集中挑选出参考音频Wav_reference，将经过预处理转化为参考频谱G_reference，构建说话人身份标签，将其映射为向量S；

步骤S2：将参考频谱G_reference输入到一个长短时记忆网络中，再通过线性层获取说话人编码器的输出，将该结构输出向量S^pred与训练集中的说话人身份标签向量S进行余弦相似度损失运算，减少相同说话人向量之间的距离；

步骤S3：重复步骤S2的操作，优化网络结构，直至达到迭代次数，说话人向量编码器训练完成；

步骤S4：从数据集随机挑选出参考频谱G_reference，同时选取训练文本Text和对应的真实音频Wav；经过预处理将Text转化为原始音素序列phonemes，同时提取音频的真实音素时长序列T和真实梅尔频谱G；将原始音素序列phonemes送入编码器Encoder中获取音素的鲁棒性序列Z；

步骤S5：将音素的鲁棒性序列Z输入时长预测器DurationPrediction中获取每一个音素的持续时长，输出预测音素时长序列T_pred；在训练时，通过平滑L1损失函数计算预测音素时长序列T_pred与真实音素时长序列T之间的误差，进而通过反向传播优化网络的参数；

步骤S6：将音素的鲁棒性序列Z和预测音素时长序列T_pred分别送入扩展模块，进行复制扩展，并添加位置编码PositionEmbedding和说话人编码SpeakingEmbedding，得到与合成音频时长相等的扩展音素序列K；

步骤S7：将扩展音素序列K送入韵律预测器ProsyPrediction中挨个获取音素的韵律序列，最终输出音素韵律序列P；

步骤S8：将扩展音素序列K和音素韵律序列P结合后作为解码器Decoder的输入，最终解码出梅尔频谱G_pred；在训练时，采用Adam优化器、SSIM损失函数与L1损失函数共同优化模型；

步骤S9：重复步骤S4-S8，优化网络结构，直至达到最大迭代次数，声学模型结构f训练完成；

步骤S10：将真实梅尔频谱G送入声码器的生成器g中，获取相应的音频序列；接着判别器对生成器的输出音频Wav_pred进行打分，降低生成器生成音频Wav_pred与真实音频Wav的差值从而优化生成器结构；

步骤S11：重复步骤S10，优化网络结构，直至达到最大迭代次数，声码器结构g训练完成；

步骤S12：将参考音频Wav_reference预处理得到参考频谱G_reference，并传入说话人编码器中提取说话人编码向量SpeakEmbedding；

步骤S13：将待合成文本Text转化为音素序列phonemes,将音素序列phonemes输入声学模型f并结合说话人编码向量SpeakEmbedding和位置编码PositionEmbedding获取预测的梅尔频谱G_pred；

步骤S14：最后将梅尔频谱G_pred输入声码器模型的生成器g中得到预测音频Wav_pred。

2.根据权利要求1所述的一种基于深度学习的有声书韵律语音合成方法，其特征在于，所述步骤S1具体为：通过傅里叶变化得到真实梅尔频谱G，通过预先训练的扩张卷积结合自注意力结构的自回归教师模型去提取真实音素时长T作为训练标签；同时，将数据集中不同说话人的音频片段切分成短音频片段，并将其转化成梅尔频谱G_reference，相关音频与对应说话人共同构成说话人身份标签，并将说话人身份标签映射为向量S。