[发明专利]一种跨语言情感语音合成方法及系统

权利要求书

1.一种跨语言情感语音合成方法，其特征在于，包括以下步骤：

建立上下文相关标注格式和上下文相关聚类问题集，分别对多说话人的中性第一语言训练语料库、单说话人的中性第二语言训练语料库进行上下文相关文本标注，获得所述中性第一语言训练语料库对应的第一语言标注文件、所述中性第二语言训练语料库对应的第二语言标注文件；分别对所述中性第一语言训练语料库和所述中性第二语言训练语料库进行声学参数提取，获得所述中性第一语言训练语料库对应的第一语言声学参数、所述中性第二语言训练语料库对应的第二语言声学参数；

根据所述上下文相关标注格式和所述上下文相关聚类问题集对多说话人的目标情感普通话训练语料库进行上下文相关文本标注，获得目标情感普通话标注文件；对所述目标情感普通话训练语料库进行声学参数提取，获得目标情感声学参数；

根据所述第一语言标注文件、所述第二语言标注文件、所述目标情感普通话标注文件、所述第一语言声学参数、所述第二语言声学参数和所述目标情感声学参数确定多说话人目标情感平均声学模型；

对第一语言或/和第二语言的待合成文件进行上下文相关文本标注获得待合成标注文件；

将所述待合成标注文件输入所述多说话人目标情感平均声学模型获得第一语言或/和第二语言目标情感语音合成文件。

2.根据权利要求1所述的跨语言情感语音合成方法，其特征在于，所述建立上下文相关标注格式和上下文相关聚类问题集，分别对多说话人的中性第一语言训练语料库、单说话人的中性第二语言训练语料库进行上下文相关文本标注，获得所述中性第一语言训练语料库对应的第一语言标注文件、所述中性第二语言训练语料库对应的第二语言标注文件，具体步骤包括：

建立第一语言标注规则和第二语言标注规则；

根据第一语言标注规则和第二语言标注规则确定上下文相关标注格式，分别对多说话人的中性第一语言训练语料库、单说话人的中性第二语言训练语料库进行上下文相关文本标注，获得所述中性第一语言训练语料库对应的第一语言标注文件、所述中性第二语言训练语料库对应的第二语言标注文件；

根据第一语言和第二语言的相似性，建立上下文相关聚类问题集。

3.根据权利要求2所述的跨语言情感语音合成方法，其特征在于，所述建立第一语言标注规则和第二语言标注规则，具体步骤包括：

所述建立第一语言标注规则，具体步骤包括：

将SAMPA-SC普通话机读音标作为所述第一语言标注规则；

所述建立第二语言标注规则，具体步骤包括：

以国际音标为参考，基于SAMPA-SC普通话机读音标，获得输入第二语言拼音的国际音标；

判断所述第二语言拼音的国际音标与第一语言拼音的国际音标是否一致；若一致，则直接采用SAMPA-SC普通话机读音标来标记第二语言拼音；否，则按照简单化原则，利用自定义的未使用的键盘符号标记。

4.根据权利要求3所述的跨语言情感语音合成方法，其特征在于，所述根据第一语言标注规则和第二语言标注规则确定上下文相关标注格式，具体步骤包括：

根据第一语言和第二语言的语法规则知识库和语法词典，对输入的第一语言和第二语言不规范的文本进行文本规范化、语法分析和韵律结构分析获得规范文本，韵律词、短语的长度信息，韵律边界信息，词语相关信息，声调信息；

将所述规范文本带入所述第一语言标注规则获得第一语言的单音素标注文件；或将所述规范文本带入所述第二语言标注规则获得第二语言的单音素标注文件；

根据韵律词、短语的长度信息，韵律边界信息，词语相关信息，声调信息和单音素标注文件确定上下文相关标注格式。

5.根据权利要求1所述的跨语言情感语音合成方法，其特征在于，所述根据第一语言标注文件、第二语言标注文件、目标情感普通话标注文件、第一语言声学参数、第二语言声学参数和目标情感声学参数确定多说话人目标情感平均声学模型，具体步骤包括：

将第一语言标注文件、第二语言标注文件、第一语言声学参数、第二语言声学参数作为训练集，基于自适应模型，通过说话人自适应训练，获得混合语言的中性平均声学模型；

根据混合语言的中性平均声学模型，将目标情感普通话标注文件、目标情感声学参数作为测试集，通过说话人自适应变换，获得多说话人目标情感平均声学模型。