[发明专利]一种基于深度学习的语音转换方法

说明书

本发明公开了一种基于深度学习的语音转换方法，属于语音信号处理技术领域。本发明使用声音编解码器AHOcoder作为特征提取端和语音合成端，使用一种深度学习的方法对语音特征进行训练分别得到源说话人和目标说话人的深层特征，同时得到由深层特征重构原始特征的解码能力，使用BP神经网络实现源说话人和目标说话人深层特征的映射，从而实现语音转换。本发明优点在于对语音的原始特征进行了拼接，认为拼接后的联合特征参数包含有说话人语音特性的动态特征，通过预训练深度自编码器加速了深度神经网络的训练，且通过深层特征的转换使得在使用少量语料进行训练的情况下得到了品质较好的转换后的语音，并且本发明支持离线学习，节约了终端设备的计算资源和内存。

技术领域

本发明涉及一种语音转换与语音合成的方法，属于语音信号处理技术领域。

背景技术

语音转换技术是语音信号处理的一个研究分支，它涵盖了说话人识别、语音识别及语音合成等领域的内容，拟在保留原有的语义信息不变的情况下改变语音的个性化信息，使特定说话人(即源说话人)的语音听起来像另一个特定说话人(即目标说话人)的语音。语音转换的主要任务包括提取两个特定说话人语音的特征参数并进行映射转换，然后将变换后的参数解码重构成转换后的语音。在此过程中要保证得到的转换后语音的听觉质量和转换后个性特征是否精确。

语音转换技术的研究经过多年发展，语音转换领域已经涌现出多种不同的方法，其中以高斯混合模型为代表的统计转换方法已经成为该领域中的经典方法。但是这类算法还是存在某些缺陷，比如：使用高斯模型进行语音转换实验，转换后的语音音质较差，且对高斯模型的混合度等参数设置得不恰当，通常导致欠拟合和过拟合；使用高斯混合模型来训练映射函数时考虑的是全局变量并通过迭代训练数据，这导致了计算量骤增，且需要在训练数据充分时，高斯混合模型才能达到较好的转换效果，这不适用于有限的计算资源和设备。

近年来，深度学习领域的火热加速了深度神经网络的训练速度和网络的有效性，其建模能力强，可以逼近复杂函数，更重要的是深度神经网络可以学习到深层特征表示，因此在使用比传统的高斯混合模型更少的训练数据的情况下，也能保证模型对特征参数转换的性能，且训练深度学习模型时支持离线学习，所以一定程度上可以解决用户终端的计算资源。

发明内容

本发明所要解决的技术问题是：在有限的计算资源和设备的条件下，提供一种语音转换方法，利用深度学习的优点结合深度学习加速网络训练的方法，应用AHOcoder语音编解码器，通过离线学习节约终端计算资源，且通过使用少量的训练数据也能得到较好的转换效果。

本发明为解决上述技术问题采用以下技术方案：

本发明提出一种基于深度学习的语音转换方法，包括训练步骤和语音转换步骤，其中，训练步骤如下：

1)、利用AHOcoder语音编解码器分别对源说话人和目标说话人的语音进行处理，提取出各自的梅尔倒谱特征参数X_t，Y_t；

2)、将提取出的特征参数逐句进行DTW对齐，然后取每一帧特征参数和其前后各一帧的特征拼接形成联合特征参数，分别作为源说话人的特征参数和目标说话人的特征参数，即X_p＝(X_t-1，X_t，X_t+1)，Y_p＝(Y_t-1，Y_t，Y_t+1)；

3)、通过深度堆栈自编码器DSAE分别对源说话人和目标说话人的特征参数进行训练，分别得到源说话人的深度堆栈自编码器DSAE_s和目标说话人的深度堆栈自编码器DSAE_t，然后利用前馈算法，将训练使用源说话人和目标说话人的语音特征参数分别逐帧输入到各自对应的DSAE中，得到每一帧对应的中间隐层的激活值，即为源说话人和目标说话人的深层特征DX_p，DY_p；