[发明专利]语音合成的发音稳定性评价方法、装置和系统及存储介质

权利要求书

1.一种语音合成的发音稳定性评价方法，包括：

步骤S110：获取待合成文本的音子序列；

步骤S120：将所述音子序列输入语音合成模型进行语音合成，以获得注意力矩阵和用于表示合成语音的声学参数序列，其中，所述语音合成模型是基于注意力机制的序列到序列模型，所述声学参数序列包括与所述合成语音所包括的n个语音帧集一一对应相关的声学参数，所述n个语音帧集中的每个语音帧集包括多个语音帧，所述注意力矩阵用于表示所述音子序列与所述声学参数序列之间的相关度，n是大于或等于1的整数；

步骤S130：基于所述注意力矩阵中的元素计算稳定性评分，其中，所述稳定性评分用于反映所述音子序列与所述声学参数序列之间的相关度相对于正常注意力矩阵中的相关度的偏离情况；以及

步骤S140：基于所述稳定性评分确定所述合成语音的发音稳定性。

2.根据权利要求1所述的方法，其中，所述注意力矩阵中的第一向量组包括与所述音子序列所包括的m个音子一一对应的m个向量，所述注意力矩阵中的第二向量组包括与所述n个语音帧集一一对应的n个向量，其中，所述第一向量组是行向量组并且所述第二向量组是列向量组，或者所述第一向量组是列向量组并且所述第二向量组是行向量组，m是大于或等于1的整数，

所述基于所述注意力矩阵中的元素计算稳定性评分包括：

对于所述第一向量组中的第i个向量，对所述第i个向量中的元素求和，以获得所述第i个向量的求和结果，其中，i＝1,2,……,m；

基于所述求和结果与第一阈值之间的差值确定所述第i个向量的第一向量评分，所述稳定性评分包括所述第一向量评分；

所述基于所述稳定性评分确定所述合成语音的发音稳定性包括：

基于所述第i个向量的第一向量评分确定所述合成语音中与所述第i个向量相对应的音子的吞音情况。

3.根据权利要求2所述的方法，其中，在所述基于所述求和结果与第一阈值之间的差值确定所述第i个向量的第一向量评分之前，所述基于所述注意力矩阵中的元素计算稳定性评分还包括：

取所述第一向量组中的所有向量的求和结果的中位数或三分数；

对所述中位数求平均或计算所述三分数的三分之一，以获得所述第一阈值。

4.根据权利要求2所述的方法，其中，所述基于所述求和结果与第一阈值之间的差值确定所述第i个向量的第一向量评分包括：

计算所述第一阈值减去所述第i个向量的求和结果获得的差值；

在所述差值小于或等于0的情况下，将所述第i个向量的第一向量评分取为0，并在所述差值大于0的情况下，将所述第i个向量的第一向量评分取为所述差值。

5.根据权利要求2至4任一项所述的方法，其中，

所述基于所述注意力矩阵中的元素计算稳定性评分还包括：

基于所述第一向量组中的所有向量的第一向量评分计算第一组评分，所述稳定性评分还包括所述第一组评分；

所述基于所述稳定性评分确定所述合成语音的发音稳定性还包括：

基于所述第一组评分确定所述合成语音中所有音子的综合吞音情况。

6.根据权利要求5所述的方法，其中，所述基于所述第一向量组中的所有向量的第一向量评分计算第一组评分包括：

对所述第一向量组中的所有向量的第一向量评分求和，以获得所述第一组评分。