[发明专利]一种跨语言情感语音合成方法及系统

说明书

本发明公开一种跨语言情感语音合成方法及系统，首先，建立上下文相关标注格式和上下文相关聚类问题集；其次，确定第一语言标注文件、第二语言标注文件、目标情感普通话标注文件、待合成标注文件、第一语言声学参数、第二语言声学参数、目标情感声学参数；然后根据所述第一语言标注文件、所述第二语言标注文件、所述目标情感普通话标注文件、所述第一语言声学参数、所述第二语言声学参数和所述目标情感声学参数确定多说话人目标情感平均声学模型；最后，将所述待合成标注文件输入所述多说话人目标情感平均声学模型获得第一语言或/和第二语言目标情感语音合成文件，以实现合成同一说话人或不同说话人跨语言的情感语音。

技术领域

本发明涉及多语种情感语音合成技术领域，特别是涉及一种跨语言情感语音合成方法及系统。

背景技术

目前的语音合成技术，已经能够合成出较自然的中性语音，但当遇到机器人、虚拟助手等这些需要模仿人类行为的人机交互任务时，简单的中性语音合成则不能满足人们的需求。能够模拟表现出人类情感和说话风格的情感语音合成已经成为未来语音合成的发展趋势。

对于使用人数众多的大语种汉语、英语等的情感语音合成来说，其研究投入较多，发展水平较高；但对于使用人数较少的小语种如藏语、俄语、西班牙语等情感语音合成来说，其发展却较缓慢，目前还没有一个公认的面向语音合成的高标准、高质量的小语种情感语料库，从而使得小语种情感语音的合成成为了语音合成领域的空白。

目前，国内外对情感语音合成的研究技术包括波形拼接方法、韵律单元选择方法和统计参数方法。波形拼接方法需要给情感语音合成系统建立一个庞大的包含每一种情感的情感语料库库，之后对输入的文本进行文本和韵律分析，获得合成语音基本的单元信息，最后根据此单元信息在先前标注好的语料库库中选取合适的语音基元，并进行修改和调整拼接获得目标情感的合成语音，其合成的语音具有较好的情感相似度，但需要提前建立好一个大的、包含各种情感的语音基元语料库库，这在系统的实现中是非常困难的，而且也难以扩展到合成不同说话人、不同语言的情感语音上；韵律特征单元选择方法把韵律或语音体系的策略融入单位选择，用这种规则建立小的或混合的情感语料库库，用于修改目标f0和时长的轮廓，从而获得情感语音。韵律修改方法要对语音信号进行修改，合成语音的音质较差，也不能合成不同人、不同语言的情感语音。以上两种方法由于其局限性，不是现在的主流方法。统计参数语音合成方法虽然成为了主流的语音合成方法，但该方法只能合成出一种语言的情感语音，若需要合成不同语言的情感语音，就需要训练多个情感语音合成系统，每个情感语音合成系统都需要该种语言的情感语音训练语料库。

针对上述情感语音合成方法的不足，如何克服上述问题，是目前多语种情感语音合成技术领域急需解决的技术问题。

发明内容

本发明的目的是提供一种跨语言情感语音合成方法及系统，以实现用一种多说话人的目标情感普通话训练语料库训练一个普通话说话人目标情感平均声学模型，只需改变待合成文件就能合成同一说话人或不同说话人跨语言的情感语音。

为实现上述目的，本发明提供了一种跨语言情感语音合成方法，包括以下步骤：

建立上下文相关标注格式和上下文相关聚类问题集，分别对多说话人的中性第一语言训练语料库、单说话人的中性第二语言训练语料库进行上下文相关文本标注，获得所述中性第一语言训练语料库对应的第一语言标注文件、所述中性第二语言训练语料库对应的第二语言标注文件；分别对所述中性第一语言训练语料库和所述中性第二语言训练语料库进行声学参数提取，获得所述中性第一语言训练语料库对应的第一语言声学参数、所述中性第二语言训练语料库对应的第二语言声学参数；

根据所述上下文相关标注格式和所述上下文相关聚类问题集对多说话人的目标情感普通话训练语料库进行上下文相关文本标注，获得目标情感普通话标注文件；对所述目标情感普通话训练语料库进行声学参数提取，获得目标情感声学参数；