[发明专利]语音合成数据的质检方法以及装置

权利要求书

1.一种语音合成数据的质检方法，其特征在于，包括：

根据原始文本，使用不同的语音合成方式合成多条目标音频；

通过ASR模型对多条所述目标音频进行识别，得到各自的识别文本；

在所述识别文本与所述原始文本不一致的情况下，判断所述识别文本对应的所述目标音频不合格；

在所述识别文本与所述原始文本一致的情况下，判断所述识别文本对应的所述目标音频初步合格；

通过端到端的判别模型输出每个初步合格的所述目标音频的音素的概率值，所述判别模型的输出为目标文本的每一个音素的后验概率值，根据所述概率值和设定的阈值可判断该音素的发音好坏；

根据所述音素的概率值进行所述音素的发音打分；

通过回归模型将所述音素的得分转化为相应的句子的得分；

在所述句子的得分高于阈值的情况下，判断所述句子对应的所述目标音频合格，并将得分最高的所述句子对应的所述目标音频判断为最佳音频。

2.根据权利要求1所述的方法，其特征在于，所述ASR模型包括：声学模型、语音模型以及词典，其中，所述声学模型采用真人语音以及合成语音进行共同训练得到，所述语音模型通过通用语言模型与各领域模型进行插值得到。

3.根据权利要求1所述的方法，其特征在于，所述判别模型采用CTC+Attention相结合的技术训练得到。

4.根据权利要求1所述的方法，其特征在于，还包括：

在所述句子的得分低于所述阈值的情况下，记录所述目标音频出现的音素级以及句子级的错误信息；

根据所述错误信息，定期更新所述判别模型。

5.根据权利要求1所述的方法，其特征在于，所述判别模型采用transformer技术训练得到。

6.根据权利要求1所述的方法，其特征在于，所述回归模型采用XGBoost技术或者RNN技术训练得到。

7.一种语音合成数据的质检装置，其特征在于，包括：

合成模块，用于根据原始文本，使用不同的语音合成方式合成多条目标音频；

识别模块，用于通过ASR模型对多条所述目标音频进行识别，得到各自的识别文本；

第一判断模块，用于在所述识别文本与所述原始文本不一致的情况下，判断所述识别文本对应的所述目标音频不合格；

第二判断模块，用于在所述识别文本与所述原始文本一致的情况下，判断所述识别文本对应的所述目标音频初步合格；

判别模块，用于通过端到端的判别模型输出每个初步合格的所述目标音频的音素的概率值，所述判别模型的输出为目标文本的每一个音素的后验概率值，根据所述概率值和设定的阈值可判断该音素的发音好坏；

打分模块，用于根据所述音素的概率值进行所述音素的发音打分；

转化模块，用于通过回归模型将所述音素的得分转化为相应的句子的得分；

第三判断模块，用于在所述句子的得分高于阈值的情况下，判断所述句子对应的所述目标音频合格，并将得分最高的所述句子对应的所述目标音频判断为最佳音频。

8.根据权利要求7所述的装置，其特征在于，所述ASR模型包括：声学模型、语音模型以及词典，其中，所述声学模型采用真人语音以及合成语音进行共同训练得到，所述语音模型通过通用语言模型与各领域模型进行插值得到。

9.根据权利要求7所述的装置，其特征在于，所述判别模型采用CTC+Attention相结合的技术训练得到。

10.根据权利要求7所述的装置，其特征在于，还包括：

记录模块，用于在所述句子的得分低于所述阈值的情况下，记录所述目标音频出现的音素级以及句子级的错误信息；

更新模块，用于根据所述错误信息，定期更新所述判别模型。

11.根据权利要求7所述的装置，其特征在于，所述判别模型采用transformer技术训练得到。

12.根据权利要求7所述的装置，其特征在于，所述回归模型采用XGBoost技术或者RNN技术训练得到。