[发明专利]一种语音合成方法、装置、电子设备及存储介质

说明书

本公开提供了一种语音合成方法、装置、电子设备及存储介质，所述方法包括：确定用于语音合成的原始语料；从所述原始语料中提取文本对话表现力，所述文本对话表现力包括对话意向和对话风格；基于所述文本对话表现力确定文本对话风格特征；将所述文本对话风格特征输入至语音合成模型，基于所述语音合成模型输出的梅尔频谱，确定所述原始语料对应的对话语音。

技术领域

本公开涉及语音处理技术领域，尤其涉及一种语音合成方法、装置、电子设备及存储介质。

背景技术

目前，语音合成技术获得了飞速发展，尤其是可以将任意文字转换成语音信号的文语转换系统(TextToSpeech，TTS)，其输出语音的音质已经基本接近真人的发音，在人机对话、远程语音信息服务、机器阅读、电信、娱乐等方面得到了广泛的应用。

但是，TTS系统输出的语音与真人发音相比，缺乏语气和语速等语音表现力。因此，为合成语音赋予更多语音表现力因素，以提高合成语音的自然度是一直追求的目标。

发明内容

本公开提供了一种语音合成方法、装置、电子设备及存储介质，以至少解决现有技术中存在的以上技术问题。

根据本公开的第一方面，提供了一种语音合成方法，所述方法包括：确定用于语音合成的原始语料；从所述原始语料中提取文本对话表现力，所述文本对话表现力包括对话意向和对话风格；基于所述文本对话表现力确定文本对话风格特征；将所述文本对话风格特征输入至语音合成模型，基于所述语音合成模型输出的梅尔频谱，确定所述原始语料对应的对话语音。

在一可实施方式中，所述确定用于语音合成的原始语料，包括：获取用于语音合成的文本信息；将所述文本信息中的对话和旁白分离，得到文本对话信息和旁白文本信息；确定所述文本对话信息和旁白文本信息为所述原始语料。

在一可实施方式中，从所述原始语料中提取文本对话表现力包括：将所述原始语料中的文本信息映射到词向量空间，得到所述原始语料对应的词向量信息；拟合所述词向量信息，得到拟合结果；基于条件随机场模型从所述拟合结果中提取所述文本对话表现力。

在一可实施方式中，所述基于所述文本对话表现力确定文本对话风格特征，包括：基于所述原始语料对应的参考语音，确定参考对话风格特征；将所述文本对话表现力输入至对话特征训练模型，得到所述对话特征训练模型输出的文本对话风格特征；基于所述参考对话风格特征和所述文本对话风格特征之间的差异，调整所述对话特征训练模型的参数。

在一可实施方式中，所述将所述文本对话风格特征输入至语音合成模型，基于所述语音合成模型输出的梅尔频谱，确定所述原始语料对应的对话语音，包括：将所述原始语料对应的文本信息作为所述语音合成模型的输入，将所述文本信息转换为音频信息，并对所述音频信息进行语音长度对齐，得到所述文本信息对应的线性频谱；基于所述文本对话风格特征和所述线性频谱，得到所述语音合成模型输出的梅尔频谱；基于所述梅尔频谱，确定所述原始语料对应的对话语音。

根据本公开的第二方面，提供了一种语音合成模型训练方法，所述方法包括：生成用于语音合成的原始语料样本集；从所述原始语料样本集中提取多种文本对话表现力，所述文本对话表现力包括对话意向和对话风格；基于多种所述文本对话表现力确定多种文本对话风格特征；以多种所述文本对话风格特征训练语音合成模型，以使所述语音模型能够将文本对话风格特征用于合成对话语音。

在一可实施方式中，所述基于多种所述文本对话表现力确定多种文本对话风格特征，包括：获取所述原始语料样本集对应的多种文本对话表现力；以多种所述文本对话表现力训练对话特征训练模型，以使所述对话特征训练模型能够将文本对话表现力用于获取文本对话风格特征。