[发明专利]基于STARGAN和x向量的多对多说话人转换方法

说明书

本发明公开了一种基于STARGAN与x向量的多对多说话人转换方法，包括训练阶段和转换阶段，使用了STARGAN与x向量相结合来实现语音转换系统，能够较好地提升转换后语音的个性相似度和语音质量，特别是对于短时话语x向量具有更好的表征性能，语音转换质量更好，同时可以克服C‑VAE中过平滑的问题，实现了一种高质量的语音转换方法。此外，本方法能够实现非平行文本条件下的语音转换，而且训练过程不需要任何对齐过程，提高了语音转换系统的通用性和实用性，本方法还可以将多个源‑目标说话人对的转换系统整合在一个转换模型中，即实现多说话人对多说话人转换，在跨语种语音转换、电影配音、语音翻译等领域有较好的应用前景。

技术领域

本发明涉及一种多对多说话人转换方法，特别是涉及一种基于STARGAN和x向量的多对多说话人转换方法。

背景技术

语音转换是语音信号处理领域的研究分支，是在语音分析、识别和合成的研究基础上发展与延伸的。语音转换的目标是改变源说话人的语音个性特征，使之具有目标说话人的语音个性特征，也就是使一个人说的语音经过转换后听起来像是另一个人说的语音，同时保留语义。

语音转换技术经过多年的研究，已经涌现了很多的经典转换方法。其中包括高斯混合模型(Gaussian Mixed Model，GMM)、递归神经网络(Recurrent Neural Network，RNN)、深度神经网络(Deep Neural Networks，DNN)等大多数的语音转换方法。但是这些语音转换方法大多要求用于训练的语料库是平行文本，即源说话人和目标说话人需要发出语音内容、语音时长相同的句子，并且发音节奏和情绪等尽量一致。然而训练时语音特征参数对齐的准确性会成为语音转换性能的一种制约。此外在跨语种转换、医疗辅助患者语音转换等实际应用中也无法获取平行语音。因此，无论从语音转换系统的通用性还是实用性来考虑，非平行文本条件下语音转换方法的研究都具有极大的实际意义和应用价值。

现有的非平行文本条件下的语音转换方法有基于循环一致对抗网络(Cycle-Consistent Adversarial Networks，Cycle-GAN)的方法、基于条件变分自编码器(ConditionalVariational Auto-Encoder，C-VAE)的方法等。基于C-VAE模型的语音转换方法，直接利用说话人的身份标签特征建立语音转换系统，其中编码器对语音实现语义和个性信息的分离，解码器通过语义和说话人身份标签特征来实现语音的重构，从而可以解除对平行文本的依赖。但是由于C-VAE基于理想假设，认为观察到的数据通常遵循高斯分布，导致解码器的输出语音过度平滑，转换后的语音质量不高。基于Cycle-GAN模型的语音转换方法利用对抗性损失和循环一致损失，同时学习声学特征的正映射和逆映射，可以有效解决过平滑问题，改善转换语音质量，但是Cycle-GAN只能实现一对一的语音转换。

基于星型生成对抗网络(Star Generative Adversarial Network，STARGAN)模型的语音转换方法同时具有C-VAE和Cycle-GAN的优点，由于该方法的生成器具有编解码结构，可以同时学习多对多映射，生成器输出的属性由说话人身份标签特征控制，因此可以实现非平行下多对多的语音转换。但是此方法中说话人的身份标签特征并不能充分表达说话人的个性化特征，因此转换后的语音在在语音相似度上仍未得到很大改善。

发明内容

发明目的：本发明要解决的技术问题是提供一种基于STARGAN和x向量的多对多说话人转换方法，可以充分表达说话人的个性化特征，有效地提高了转换后语音的个性相似度。

技术方案：本发明所述的基于STARGAN和x向量的多对多说话人转换方法，包括训练阶段和转换阶段，所述训练阶段包括以下步骤：

(1.1)获取训练语料，训练语料由多名说话人的语料组成，包含源说话人和目标说话人；

(1.2)将所述的训练语料通过WORLD语音分析/合成模型，提取出各说话人语句的频谱包络特征x、基频特征、以及代表各说话人个性化特征的x向量X-vector；