[发明专利]语音合成数据的质检方法以及装置

说明书

本申请公开了一种语音合成数据的质检方法以及装置，属于语音合成领域，质检方法包括：根据原始文本，使用不同的语音合成方式合成多条目标音频；通过ASR模型对多条目标音频进行识别，得到各自的识别文本；在识别文本与原始文本不一致的情况下，判断识别文本对应的目标音频不合格；在识别文本与原始文本一致的情况下，判断识别文本对应的目标音频初步合格；通过端到端的判别模型输出每个初步合格的目标音频的对齐后的音素的概率值；根据音素的概率值进行音素的发音打分；通过回归模型将音素的得分转化为相应的句子的得分；在句子的得分高于阈值的情况下，判断句子对应的目标音频合格，并将得分最高的句子对应的目标音频判断为最佳音频。

技术领域

本申请属于语音合成技术领域，具体涉及一种语音合成数据的质检方法以及装置。

背景技术

语音合成是一种将文本转换为语音的技术，即将给定文字按需求转换为语音进行输出。在竞争日趋激烈的市场环境对运用语音合成技术提供服务时提出了更高的要求，即合成的语音达到真人发声的效果。具体来说，第一点合成的语音不能缺字或多字，第二点合成的语音发音不能出现音素缺失或音素发音错误，第三点合成的语音虽然整体正确但存在缺陷。如何保证语音合成系统在广泛场景下都能得到高质量的合成语音是一项具有挑战的任务。

此外随着硬件设备、算力和用于语音合成建模数据质量提升，语音合成技术也从传统的前端和后端两个模块结合，发展到了端到端的语音合成。目前关于语音合成效果的评判，通常采用专家级评测MOS（Mean Opinion Scores）或者普通用户评测ABX，即专家对合成的音频打分或普通用户对比不同语音合成系统对同一段文字的合成效果。

发明人发现现有技术当前至少存在以下问题：即时使用先进的端到端的语音合成技术，加专家级或普通用户级的评测，也不能百分百保证通过评测的语音合成系统合成的语音质量，即可能存在听感上漏字、发音缺失、发音错误或者发音正确但不符合人的听感的现象。采用人工质检效率低下，并且难以保证质检的质量。

发明内容

本申请实施例的目的是提供一种语音合成数据的质检方法和装置，能够解决目前对于语音合成数据采用人工质检时效率低下，并且难以保证质检质量的问题。同时克服传统发音质量评价特征提取过程复杂的问题，并提高所得评分与发音的相关性。

为了解决上述技术问题，本申请是这样实现的：

第一方面，本申请实施例提供了一种语音合成数据的质检方法，包括：

根据原始文本，使用不同的语音合成方式合成多条目标音频；

通过ASR模型对多条所述目标音频进行识别，得到各自的识别文本；

在所述识别文本与所述原始文本不一致的情况下，判断所述识别文本对应的所述目标音频不合格；

在所述识别文本与所述原始文本一致的情况下，判断所述识别文本对应的所述目标音频初步合格；

通过端到端的判别模型输出每个初步合格的所述目标音频的对齐后的音素的概率值；

根据所述音素的概率值进行所述音素的发音打分；

通过回归模型将所述音素的得分转化为相应的句子的得分；

在所述句子的得分高于阈值的情况下，判断所述句子对应的所述目标音频合格，并将得分最高的所述句子对应的所述目标音频判断为最佳音频。

进一步地，所述ASR模型包括：声学模型、语音模型以及词典，其中，所述声学模型采用真人语音以及合成语音进行共同训练得到，所述语音模型通过通用语言模型与各领域模型进行插值得到。

进一步地，所述判别模型采用CTC+Attention相结合的技术训练得到。

进一步地，所述方法还包括：