[发明专利]多语言语音模型生成方法、装置、计算机设备及存储介质

说明书

本发明实施例公开了一种多语言语音模型生成方法、装置、计算机设备及存储介质，其中所述方法包括获取预先采集的第一语音数据集；根据预设数据增强脚本对第二语音信息进行数据增强，以得到增强语音样本；将增强语音样本随机插入第一语音信息以得到目标语音信息；利用目标语音信息训练一神经网络，以得到一中间模型；获取预设的第二语音数据集中的基于第一语言的第三语音信息，获取第三语音信息中的音色以对中间模型进行训练，并得到一用于合成多语言语音信息的目标模型。本发明数据收集便捷，可得到用于生成对多语言语音合成单音色需求的多语言语音信息的目标模型，还能应用于智慧政务等场景中，从而推动智慧城市的建设，提高用户使用体验度。

技术领域

本发明涉及人工智能领域，尤其涉及一种多语言语音模型生成方法、装置、计算机设备及存储介质。

背景技术

目前，多语言的语音合成是学术界的热门话题，完整的高质量的多语音合成体系和模型仍然是大家讨论的焦点所在。一般来说，在说话过程中，若存在两个语言体系，即会存在一个主体系及一个从体系，通常以自己的母语为主体系，而另一个语言为从体系，作为从体系的语言在语句中不会大段地连续出现，只是以单词的形式嵌入到句子中起辅助作用。例如人们在说汉语的时候，有时会夹杂着英语的字母或者部分英文的单词。

现今多语言语音合成体系主要包括作为主体系的主要语言和以及作为从体系的辅助语言，若只使用主要语言训练神经网络模型，即难以获得针对辅助语言的准确语音。在神经网络模型训练过程中获取包含多种语言的数据集是很困难的，尤其是较难找到精通多种语言的说话人进行数据采集。而使用多说话人的混合数据集训练神经网络模型时，需要收集大量的分别以主体语言为母语的说话人的预料以及以辅助语言为母语的说话人的预料等数据，但是在训练过程种由于不同说话人的音色不同，会导致神经网络模型生成的语句种存在明显的两个音色现象。故可知，在多语言语音合成模型的训练上，存在单说话人训练数据难收集以及多说话人训练得到的模型质量欠佳等问题。

发明内容

本发明实施例提供一种多语言语音模型生成方法、装置、计算机设备及存储介质，其不仅数据收集便捷，可得到用于生成对多语言语音合成单音色需求的多语言语音信息的目标模型，还能应用于智慧政务等场景中，从而推动智慧城市的建设，提高用户使用体验度。

第一方面，本发明实施例提供了一种多语言语音模型生成方法，该方法包括：

获取预先采集的第一语音数据集，该语音数据集包括均为同一主体提供的基于第一语言的第一语音信息以及基于第二语言的第二语音信息；

根据预设数据增强脚本对所述第二语音信息进行数据增强，以得到若干增强语音样本；

将所述增强语音样本随机插入第一语音信息中，以得到目标语音信息；

利用目标语音信息训练一神经网络，以得到一中间模型；

获取预设的第二语音数据集中的基于第一语言的第三语音信息，获取所述第三语音信息中的音色以对所述中间模型进行训练，并得到一用于合成多语言语音信息的目标模型。

第二方面，本发明实施例还提供了一种多语言语音模型生成装置，该装置包括：

数据获取单元，用于获取预先采集的第一语音数据集，该语音数据集包括均为同一主体提供的基于第一语言的第一语音信息以及基于第二语言的第二语音信息；

数据增强单元，用于根据预设数据增强脚本对所述第二语音信息进行数据增强，以得到若干增强语音样本；

语音处理单元，用于将所述增强语音样本随机插入第一语音信息中，以得到目标语音信息；

第一训练单元，用于利用目标语音信息训练一神经网络，以得到一中间模型；