[发明专利]音频信息合成方法、装置、计算机可读介质及电子设备

权利要求书

1.一种音频信息合成方法，其特征在于，包括：

获取包括至少两个语种类型的混合语种文本信息；

基于所述至少两个语种类型对所述混合语种文本信息进行文本编码处理以得到所述混合语种文本信息的中间语义编码特征；

获取对应于目标音色主体的目标音色特征，并基于所述目标音色特征对所述中间语义编码特征进行解码处理以得到声学特征；

对所述声学特征进行声学编码处理以得到与所述混合语种文本信息相对应的音频信息。

2.根据权利要求1所述的音频信息合成方法，其特征在于，所述基于所述至少两个语种类型对所述混合语种文本信息进行文本编码处理以得到所述混合语种文本信息的中间语义编码特征，包括：

通过与各个所述语种类型相对应的单语种文本编码器分别对所述混合语种文本信息进行文本编码处理以得到所述混合语种文本信息的至少两个单语种编码特征；

对所述至少两个单语种编码特征进行融合处理以得到所述混合语种文本信息的混合语种编码特征；

根据所述混合语种编码特征确定所述混合语种文本信息的中间语义编码特征。

3.根据权利要求2所述的音频信息合成方法，其特征在于，所述通过与各个所述语种类型相对应的单语种文本编码器分别对所述混合语种文本信息进行文本编码处理以得到所述混合语种文本信息的至少两个单语种编码特征，包括：

通过与各个所述语种类型相对应的字符嵌入矩阵分别对所述混合语种文本信息进行映射变换处理以得到所述混合语种文本信息的至少两个嵌入字符特征；

通过与各个所述语种类型相对应的单语种文本编码器分别对所述嵌入字符特征进行文本编码处理以得到所述混合语种文本信息的至少两个单语种编码特征。

4.根据权利要求3所述的音频信息合成方法，其特征在于，所述通过与各个所述语种类型相对应的单语种文本编码器分别对所述嵌入字符特征进行文本编码处理以得到所述混合语种文本信息的至少两个单语种编码特征，包括：

通过与各个所述语种类型相对应的单语种文本编码器分别对所述嵌入字符特征进行残差编码以得到所述混合语种文本信息的至少两个残差编码特征；

将所述嵌入字符特征分别与各个所述残差编码特征进行融合处理以得到所述混合语种文本信息的至少两个单语种编码特征。

5.根据权利要求3所述的音频信息合成方法，其特征在于，所述单语种编码特征是对所述嵌入字符特征进行残差编码得到的残差编码特征；所述对所述至少两个单语种编码特征进行融合处理以得到所述混合语种文本信息的混合语种编码特征，包括：

对所述至少两个单语种编码特征以及所述嵌入字符特征进行融合处理以得到所述混合语种文本信息的混合语种编码特征。

6.根据权利要求2所述的音频信息合成方法，其特征在于，所述根据所述混合语种编码特征确定所述混合语种文本信息的中间语义编码特征，包括：

通过基于所述至少两个语种类型的语种嵌入矩阵对所述混合语种文本信息进行映射变换处理以得到所述混合语种文本信息的嵌入语种特征；

对所述混合语种编码特征和所述嵌入语种特征进行融合处理以得到所述混合语种文本信息的中间语义编码特征。

7.根据权利要求1所述的音频信息合成方法，其特征在于，所述基于所述至少两个语种类型对所述混合语种文本信息进行文本编码处理以得到所述混合语种文本信息的中间语义编码特征，包括：

基于所述至少两个语种类型对所述混合语种文本信息中的各个文本字符进行文本编码处理以得到对应于各个所述文本字符的字符编码特征；

获取与各个所述文本字符相对应的注意力分配权重；

根据所述注意力分配权重对各个所述文本字符的字符编码特征进行加权映射以得到所述混合语种文本信息的中间语义编码特征。

8.根据权利要求7所述的音频信息合成方法，其特征在于，所述获取与各个所述文本字符相对应的注意力分配权重，包括：

获取各个所述文本字符在所述混合语种文本信息中的序列位置信息；

根据所述序列位置信息确定与各个所述文本字符相对应的位置注意力分配权重。