[发明专利]一种音色转换方法、装置、电子设备及可读存储介质

说明书

本发明提供了一种音色转换方法、装置、电子设备及可读存储介质，涉及音频处理技术领域。其中，所述方法包括：提取待转换语音的输入谱参数；基于所述输入谱参数，确定第一语音文本参数；基于所述音色转换模型，对所述输入谱参数进行变分自编码处理及注意力机制处理，确定所述语音声音参数；基于所述音色转换模型，对所述语音声音参数及所述第一语音文本参数进行处理，确定输出谱参数；基于所述输出谱参数，得到音色转换后的目标语音。通过在变分自编码处理获得语音声音参数的过程中，加入注意力机制处理，可以提升VAE模型克服音频波动的鲁棒性，从而进一步提升音色转换模型对误识别的纠错和容错，保证音色转换的转换效果，提高音色转换的可靠性。

技术领域

本申请属于音频处理技术领域，具体涉及一种音色转换方法、装置、电子设备及可读存储介质。

背景技术

近年来，作为音频处理技术领域的一个分支的音色转换发展迅速。

音色转换(Voice Conversion)指的是将一个人语音的声线音色进行转换，而对其语音内容保持不变。

目前，传统的音色转换方案是基于语音识别因素后验概率的符合系统方案，也即是通过引入语音识别，实现“任意对一”的灵活转换和高自然度的发音效果。因此，转换效果依赖于语音识别的准确率，语音识别作为音色转换方案中转换模型的特征提取器，在训练阶段和使用阶段都是音色转换模型的上游输入，决定着输入数据流的质量，任何的识别错误到会传递到最终结果。

最常见的识别错误可以包括：汉语中平舌和翘舌之前的混淆(例如“sh”和“s”)或者声调错误，或者出现完全错误的字。在使用阶段，对输入的待转换语音，语音识别阶段的任何识别错误，在音色转换后一定也是错误的；在训练阶段，语音识别阶段的错误识别直接影响最终的训练结果，导致音色转换方案损害了音色转换的转换效果，降低了音色转换的可靠性。

现有通过在音色转换阶段引入变分自编码器(Variational Autoencoder，VAE)，以让音色转换模型对上游的语音识别错误具有一定的容错/纠错能力的方式，虽然能够在一定程度上提升音色转换模型对上游的语音识别错误的容错/纠错能力，但由于真实语音变化万千，例如即便同一个人说长度相同的同一个字，感冒与否、不同录音环境等差异的情况下，发音的梅尔频率倒谱系数(Mel-Frequency Cepstral Coefficients，MFCC)都有明显的差异，这种数据波动会减损VAE模型训练的收敛度，导致VAE模型的鲁棒性不佳。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种音色转换方法、装置、电子设备及可读存储介质。

依据本发明的第一方面，提供了一种音色转换方法，该方法包括：

提取待转换语音的输入谱参数；

基于所述输入谱参数，确定第一语音文本参数；

基于所述音色转换模型，对所述输入谱参数进行变分自编码处理及注意力机制处理，确定所述语音声音参数；

基于所述音色转换模型，对所述语音声音参数及所述第一语音文本参数进行处理，确定输出谱参数；

基于所述输出谱参数，得到音色转换后的目标语音。

可选地，所述的方法中，所述基于所述音色转换模型，对所述输入谱参数进行变分自编码处理及注意力机制处理，确定所述语音声音参数，包括：

基于所述音色转换模型，对所述输入谱参数进行所述变分自编码处理，确定语音声音参数的第一概率分布参数；

对所述第一概率分布参数进行所述注意力机制处理，得到第二概率分布参数；

根据所述第二概率分布参数，确定所述语音声音参数。