[发明专利]语音合成方法、装置和计算机可读存储介质

说明书

本公开提供一种语音合成方法、装置和计算机可读存储介质。语音合成方法包括：获取目标文本的音素特征、语义特征和声学特征；对音素特征和声学特征执行第一对齐操作，以得到第一对齐特征；将第一对齐特征和声学特征进行特征融合，以得到第一融合特征；对语义特征和第一融合特征进行第二对齐操作，以得到第二对齐特征；将第一对齐特征和第二对齐特征进行特征融合，以得到第二融合特征；基于第二融合特征生成目标文本的合成语音。本公开能够有效提升合成语音的整体韵律表现。

技术领域

本公开涉及人工智能领域，特别涉及一种语音合成方法、装置和计算机可读存储介质。

背景技术

随着人工智能的发展，诸如线上客服、线上教育、语音助手、智能音响、有声小说等多种实际场景都广泛应用有语音合成技术，该技术能够将文本自动转换为语音。

为了提高语义合成效果，在语音合成的相关技术中，在获取输入文本的语义特征、音素特征和声学特征的基础上，通过将具有不同颗粒度的语义特征和音素特征分别与声学特征进行对齐操作，将所得到的两个对齐操作结果进行融合处理，并根据融合处理结果生成与输入文本相对应的合成语音。

发明内容

发明人通过研究发现，在上述相关技术中，为了能够同时在音素级别和语义级别上将输入文本的文本特征与声学特征对齐，细颗粒度的音素特征和粗颗粒度的语义特征都需要在较细的颗粒度上进行计算，从而无法有效发挥语义特征中隐含信息的作用，无法提升合成语音的整体韵律表现。

据此，本公开提供一种语音合成方案，能够有效提升合成语音的整体韵律表现。

根据本公开实施例的第一方面，提供一种语音合成方法，包括：获取目标文本的音素特征、语义特征和声学特征；对所述音素特征和所述声学特征执行第一对齐操作，以得到第一对齐特征；将所述第一对齐特征和所述声学特征进行特征融合，以得到第一融合特征；对所述语义特征和所述第一融合特征进行第二对齐操作，以得到第二对齐特征；将所述第一对齐特征和所述第二对齐特征进行特征融合，以得到第二融合特征；基于所述第二融合特征生成所述目标文本的合成语音。

在一些实施例中，获取目标文本的音素特征包括：利用预设的字素转音素单元对所述目标文本进行转换处理，以得到音素序列；利用经过训练的编码器对所述音素序列进行音素特征提取处理，以得到所述目标文本的音素特征。

在一些实施例中，所述对所述音素序列进行音素特征提取处理包括：获取与所述音素序列相对应的音素编码；根据所述音素编码获取中间特征向量，其中，所述中间特征向量与所述音素编码中的局部特征信息和上下文信息相关联；对所述中间特征向量进行音素特征提取处理，以得到所述音素特征。

在一些实施例中，所述根据所述音素编码获取中间特征向量包括：基于所述音素编码连续执行N次指定的组合操作，并将第N次组合操作输出的特征向量作为中间特征向量，N为正整数，其中，第1次组合操作的输入为所述音素编码，第i次组合操作的输入为第i-1次所述组合操作的输出，1i≤N，所述组合操作包括卷积操作和非线性变换操作。

在一些实施例中，对所述中间特征向量进行音素特征提取处理包括：利用预设的长短期记忆网络对所述中间特征向量进行音素特征提取处理，以得到所述音素特征。

在一些实施例中，所述将所述第一对齐特征和所述声学特征进行特征融合包括：将所述第一对齐特征和所述声学特征进行拼接，以得到所述第一融合特征。

在一些实施例中，获取目标文本的语义特征包括：利用经过训练的语义特征提取模型对所述目标文本进行语义特征提取操作，以得到所述语义特征。

在一些实施例中，所述对所述目标文本进行语义特征提取操作包括：对所述目标文本进行字符切分，以得到字符序列；获取所述字符序列对应的字符编码；基于所述字符编码进行语义特征提取，以得到所述语义特征。

在一些实施例中，所述语义特征提取模型包括基于转换器的双向编码表征BERT模型。