[发明专利]一种语音合成方法、装置和电子设备

说明书

本发明实施例提供了一种语音合成方法、装置和电子设备。本技术方案是在选音拼接合成路线上，适度引入深度学习技术、但又不彻底废弃传统统计学习技术，博采两者之长，最核心的创新是借用深度学习模型生成仿真数据来反哺传统统计学习模型的训练，从算法和数据两方面改善传统学习的效果，从而提高了语音合成的效果。

技术领域

本发明涉及语音合成技术领域，特别是涉及一种语音合成方法、装置和电子设备。

背景技术

近年来，随着深度学习的风潮横扫机器学习相关领域，语音合成领域也随之风起云涌，从声学参数建模、语音增强、声码器、直至韵律分析等文本预处理各个环节，都纷纷尝试应用最新的深度学习技术，或甚至尝试直接从文本到波形“端到端”建模，都取得了卓著的成果。

语音合成领域近十年的发展，一直维持着统计参数合成和选音拼接合成两大路线的争鸣。二者各有长短，无法完全取代对方：选音拼接合成音质逼真、音长真实，但拼接硬伤明显、集外稳定性差；统计参数合成稳定性好、协同发音顺畅，但音质机器感强、音长平均化。上述局部或全局的深度学习化改进，绝大部分都是在统计参数合成路线上，将统计模型更换为深度学习模型，确实显著改善了原先的弊端，已能够产出丰富的情感和悦耳的音色。

但选音拼接合成在音质方面的先天优势还在。毕竟，参数合成之所以能更好地平衡集内外的拟合度、以及协同发音的柔软度，是以“熔平”集内样点的个性为代价的，音质、语气的细节会丢失。而拼接合成则是直接使用集内样点，所有细节都得以保留。此外，深度学习越发复杂的模型结构所带来的巨大计算量，也反面凸显出选音拼接合成在速度上的优势，这对产业界尤为重要。

发明内容

有鉴于此，本发明提供了一种基于深度学习的语音合成方法、装置和电子设备，以博采统计参数合成和选音拼接合成两者之长，以提高语音合成效果。

为了解决上述问题，本发明公开了一种语音合成方法，包括步骤：

响应文本输入，对输入的文本进行文本分析，得到所述文本的目标基元序列及相应的语境信息；

针对所述语境信息，利用传统模型决策树确定所述语境信息在语音库的声学参数模型、基元时长模型和边界帧声学参数模型中分别所属的子类号；

针对所述目标基元序列中每个目标基元，从所述语音库中检索所有候选单元，根据每个所述候选单元在所述统计模型中所属的子类号和所述目标基元在所述统计模型中所属的子类号，查表得到每个所述候选单元与所述目标基元的KLD距离，并根据所述KLD距离从所述多个候选单元中选择部分候选单元作为预选结果；

利用所述预选结果依次将每个所述目标基元形成一列，最终使所述目标基元序列形成一套候选网格；

将所述语境信息输入到深度学习模型，得到所述候选网格中每个所述目标基元的声学参数包络、基元时长和边界帧声学参数，分别替换所述声学参数模型、基元时长模型和边界帧声学参数模型中均值，形成新的选音目标模型；

在所述候选网格中，对于每个所述候选单元，根据所述声学参数模型、所述基元时长模型、所述边界帧声学参数模型和通过查表得到的权重系数计算每个所述候选单元的3种选音距离；

对于每个所述候选单元，将3种选音距离加权求和，得到其动态规划代价；

根据候选网格中各所述候选单元的动态规划代价，通过动态规划最优化算法，确定累积代价最小的最优路径；

根据所述最优路径从所述语音库中读取选定的基元，适当调整所述基元的长度与音高，顺次平滑拼接在一起。

可选的，在所述声学模型中包括声学参数的高斯分布模型和状态时长的高斯分布模型。

可选的，所述传统模型决策树中包括一套声学高斯模型和一套瓶颈高斯模型。