[发明专利]非平行语料声音转换数据增强模型训练方法及装置

说明书

本申请公开一种非平行语料声音转换数据增强模型训练方法，包括：为所述数据增强模型配置顺序连接的声学注意力层、文本注意力层和解码器模块；所述声学注意力层包括第一GRU层和第一注意力层，所述文本注意力层包括第二GRU层和第二注意力层；将样本源文本序列编码为嵌入序列；将样本目标声学特征序列输入至所述第一GRU层；将所述嵌入序列输入至所述第一注意力层和第二注意力层，以训练所述增强模型。本申请通过声学注意力层和文本注意力层保留了源语音中包含的持续时间和语言上下文，从而确保了训练得到的增强模型的准确性，能够更好的用于音频与文本之间的对齐，有助于提升语音转换的效果。

技术领域

本申请涉及语音转换技术领域，尤其涉及一种非平行语料声音转换数据增强模型训练方法及装置。

背景技术

语音转换(VC)是一种旨在转换一个说话者的语音音频以使其听起来好像是由另一个说话者说出而不改变语言内容的技术。VC具有应用于各种任务的巨大潜力，例如，计算机辅助语音修剪系统的定制反馈，为语言障碍科目开发个性化助教，用各种人的声音进行电影配音等。

基于数据条件的VC技术有两种主要类型：平行VC和非平行VC。平行VC技术需要源和目标说话者的平行话语对的可用性。这些技术专注于开发源话语和目标话语的映射函数。在传统的VC方法中，话语通过动态时间规整(DTW)算法来对齐。该映射可以通过多种声学模型学习，如高斯混合模型(GMM)，深度神经网络(DNNs)，递归神经网络(RNNs)和序列到序列(Seq2Seq)模型。

非平行VC不需要不同说话者的平行训练数据。大致有两类非平行VC方法。第一类包含将非平行VC问题转换为平行VC问题的方法。有的使用Tacotron生成标准语音，然后用于训练序列到序列的VC模型。有的使用连接单元选择TTS系统来生成参考语音，该参考语音充当非平行源和目标语音数据集之间的桥梁。使用TTS系统创建数据是基于合成语音包含足够的声学成分以用作参考的假设。基于CycleGAN的VC模型也属于这一类。

第二类涉及语言和说话者信息的分离以及具有相同内容但不同说话者特征的语音重建。识别合成模型涉及提取语言，说话者无关表示的ASR模型，以及生成变换语音的合成模型。最近还提出了基于自动编码器和变分自动编码器的模型。

CycleGAN利用循环生成式对抗网络来进行非平行预料的声音转换。音频与文本对齐不准确，导致生成的音频效果不好。

发明内容

本申请实施例提供一种非平行语料声音转换数据增强模型训练方法、装置、非平行语料声音转换数据增强方法和语音转换方法，用于至少解决上述技术问题之一。

第一方面，本申请实施例提供一种非平行语料声音转换数据增强模型训练方法，包括：

为所述数据增强模型配置顺序连接的声学注意力层、文本注意力层和解码器模块；所述声学注意力层包括第一GRU层和第一注意力层，所述文本注意力层包括第二GRU层和第二注意力层；

将样本源文本序列编码为嵌入序列；

将样本目标声学特征序列输入至所述第一GRU层；将所述嵌入序列输入至所述第一注意力层和第二注意力层，以训练所述增强模型。

第二方面，本申请实施例提供一种非平行语料声音转换数据增强方法，采用本申请任一实施例中所述的非平行语料声音转换数据增强模型，所述方法包括：

将源语音数据输入至所述第一GRU层和所述第二GRU层，将目标语音数据输入至所述解码器模块，以实现所述源语音数据与所述目标语音数据之间的对齐。

第三方面，本申请实施例提供一种语音转换方法，包括：

采用本申请任一实施例中所述的非平行语料声音转换数据增强方法生成平行语音数据；

将所述平行语音数据输入至预先训练好的平行语音转换模型。