[发明专利]情感语音合成方法和装置

说明书

技术领域

本发明涉及信息处理技术，具体地涉及语音合成技术，更具体地涉及不依赖于说话人的情感语音合成技术。

背景技术

目前，绝大多数基于大型语音库的语音合成系统都是建立在中立朗读方式的语音之上。对于情感语音的合成，通用的方法是将中立语音转换成目标情感语音的韵律和频谱转换方法，例如在非专利文献1和2中记载的基于GMM(Gaussian mixture model，高斯混合模型)的方法和在非专利文献2中记载的基于CART(Classification And Regression Tree，分类与回归树)的方法。这些韵律和频谱转换方法仅需要建立一个附加的小型平行语音库，这与重新录制一个目标情感语音的大型语音库相比节省了大量开发时间和费用。同时，这些韵律和频谱转换方法可以建立中立语音特征和目标情感语音特征之间的联系，如基于GMM的方法。可选地，也可以建立语言学信息和中立语音特征与目标情感语音特征差异之间的联系，如基于CART的方法。基于GMM的方法相对于基于CART的方法有更好的性能。此外，如在非专利文献2中所记载，也可以将CART方法和GMM方法结合起来，即，先使用CART方法根据语言学信息进行一个初步的分类，然后再对每一类使用GMM方法建立韵律和频谱转换模型。

然而，上述基于GMM的韵律和频谱转换模型严重依赖于说话人。也就是说，如果上述大型中立语音库和上述小型平行语音库不是来自相同的说话人，则转换的性能将会严重降低。因此，在上述韵律和频谱转换方法中，为了得到高质量的转换效果，希望上述大型中立语音库和上述小型平行语音库是来自同一说话人。然而，在实际的产品支持中这是很难实现的，因为客户的需求可能在任何时候出现，例如，在录制中立语音库的好几年以后，即使还能找到当年的说话人，他/她的声音也可能随着时间发生了相当的变化。

非专利文献1：L.Mesbahi，V.Barreaud and O.Boeffard，“Comparing GMM-based speech transformation systems”，Proc.ofINTERSPEECH 2007，Antwerp，Belgium，Aug.27-31，2007，pp.1989-1992，在此通过参考引入其整个内容。

非专利文献2：J.Tao，Y.Kang and A.Li，“Prosodyconversion from neutral speech to emotional speech”，IEEE Trans.OnAudio，Speech and Language Processing，Vol.14，No.4，2006，pp.1145-1154，在此通过参考引入其整个内容。

发明内容

本发明正是鉴于上述现有技术中的问题而提出的，其目的在于提供不依赖于说话人的情感语音合成方法和装置，以便能够有效改善韵律和频谱转换的性能。

根据本发明的一个方面，提供了一种情感语音合成方法，包括以下步骤：输入文本句；利用由第一说话人的中立语音库训练获得的中立特征模型，预测上述文本句在上述第一说话人的第一特征空间中的中立特征向量；利用由上述中立语音库和第二说话人的平行语音库训练获得的说话人规整模型，将上述中立特征向量变换为上述第二说话人的第二特征空间中的规整中立特征向量；利用由上述平行语音库训练获得的情感转换模型，将上述规整中立特征向量转换为上述第二特征空间中的规整情感特征向量；利用上述说话人规整模型，将上述规整情感特征向量逆变换为上述第一特征空间中的情感特征向量；以及利用上述第一特征空间中的情感特征向量合成出第一说话人的情感语音。

根据本发明的另一个方面，提供了一种情感语音合成装置，包括：输入单元，其输入文本句；预测单元，其利用由第一说话人的中立语音库训练获得的中立特征模型，预测上述文本句在上述第一说话人的第一特征空间中的中立特征向量；变换单元，其利用由上述中立语音库和第二说话人的平行语音库训练获得的说话人规整模型，将上述中立特征向量变换为上述第二说话人的第二特征空间中的规整中立特征向量；转换单元，其利用由上述平行语音库训练获得的情感转换模型，将上述规整中立特征向量转换为上述第二特征空间中的规整情感特征向量；逆变换单元，其利用上述说话人规整模型，将上述规整情感特征向量逆变换为上述第一特征空间中的情感特征向量；以及合成单元，其利用上述第一特征空间中的情感特征向量合成出第一说话人的情感语音。

附图说明

相信通过以下结合附图对本发明具体实施方式的说明，能够使人们更好地了解本发明上述的特点、优点和目的。