[发明专利]基于语音后验概率的多对一语音转换方法

说明书

一种使用语音后验概率(PPG)实现音色转换的方法。首先，从目标说话者的语音中，使用与说话者无关的自动语音识别(SI‑ASR)系统来提取PPG。提取到的PPG用作映射不同的说话者之间的关系。PPG包括与时间范围和语音类别范围相对应的值集合，该语音类别对应于音素状态。深度学习模型用于对PPG与目标语音声学特征之间的对应关系建模。完成模型训练之后，任何一个源语音可以作为输入，首先用SI‑ASR提取PPG，然后将PPG输入到训练得到的深度学习模型即可获得转换后的语音，转换后的语音的内容与源语音相同，音色与目标说话者几乎相同。

相关申请的交叉引用

本申请要求于2016年7月11日提交的题为“Phonetic Posteriorgrams for Many-To-One Voice Conversion”的美国临时专利申请No.62/360,571的优先权，其全部内容通过引用并入本文以用于所有目的。

背景技术

语音转换旨在修改一个说话者的语音，使其听起来好像是由另一特定说话者发出的。语音转换可以广泛应用于包括计算机辅助发音修剪系统的定制反馈、语音障碍主体的个性化说话辅助开发、利用各种人声的电影配音等在内的多个领域。

发明内容

提供了一种用于转换语音的计算机实现的方法。所述方法可以包括：获得目标语音和源语音。所述方法还可以包括：基于所述目标语音的声学特征生成语音后验概率(Phonetic PosteriorGram)(PPG)。在一些实施例中，所述PPG可以包括与时间范围和语音类别范围相对应的值集合。所述方法还可以包括：生成所述PPG与所述目标语音的声学特征之间的映射。在一些实施例中，所述方法可以包括：基于所述PPG和所述映射将所述源语音转换为所转换的语音。

在一些实施例中，所述语音类别范围可以对应于音素状态范围。在一些实施例中，针对所述时间范围中的每个时间，所述值集合可以对应于所述语音类别范围中的每个语音类别的后验概率。在一些实施例中，所述PPG可以包括矩阵。在一些实施例中，所述源语音可以不同于所述目标语音。在一些实施例中，生成PPG可以包括：使用说话者无关的自动语音识别(SI-ASR)系统来对不同的说话者进行映射。

在一些实施例中，生成所述PPG与所述目标语音的声学特征之间的映射可以包括：使用基于双向长短期记忆的递归神经网络(DBLSTM)结构对所述映射进行建模。在一些实施例中，所述映射可以在所述PPG与所述目标语音的对应声学特征之间。在一些实施例中，将所述源语音转换为所转换的语音可以包括：使用所训练的DBLSTM模型将所述PPG转换为一个或更多个梅尔倒谱系数(MCEP)。

附图说明

被包括以提供对本发明的进一步理解的附图被并入并构成本说明书的一部分，示出了本发明的实施例，并且与详细描述一起用于解释本发明的原理。没有尝试以比对于本发明的基本理解和可以实践本发明的各种方式所必需的细节更详细的方式显示本发明的结构细节。

图1示出了根据本公开一些实施例的DBLSTM架构的示图。

图2示出了根据本公开一些实施例的利用平行训练数据的基于DBLSTM的语音转换方法的示图。

图3示出了根据本公开一些实施例的利用非平行训练数据的基于PPG的语音转换方法的示图。

图4示出了根据本公开一些实施例的PPG的表示。

图5示出了根据本公开一些实施例的DBLSTM模型训练的示图。

图6A和图6B示出了根据本公开一些实施例的基于DBLSTM的语音转换方法和基于PPG的语音转换方法的实验结果。

图7A和图7B示出了根据本公开一些实施例的基于DBLSTM的语音转换方法和基于PPG的语音转换方法的实验结果。

图8示出了用于执行语音转换的方法的实施例。