[发明专利]语音合成的发音稳定性评价方法、装置和系统及存储介质

说明书

提供一种语音合成的发音稳定性评价方法、装置和系统及存储介质。方法包括：获取待合成文本的音子序列；将音子序列输入语音合成模型进行语音合成，以获得注意力矩阵和用于表示合成语音的声学参数序列，语音合成模型是基于注意力机制的序列到序列模型，声学参数序列包括与合成语音所包括的n个语音帧集一一对应相关的声学参数，n个语音帧集中的每个语音帧集包括多个语音帧，注意力矩阵用于表示音子序列与声学参数序列之间的相关度，n是大于或等于1的整数；基于注意力矩阵中的元素计算稳定性评分，稳定性评分用于反映音子序列与声学参数序列之间的相关度相对于正常注意力矩阵中的相关度的偏离情况；基于稳定性评分确定合成语音的发音稳定性。

技术领域

本发明涉及语音合成技术领域，具体地，涉及一种语音合成的发音稳定性方法、装置和系统及存储介质。

背景技术

语音技术在最近几年蓬勃发展。语音合成系统能合成发音流畅、情感丰富、音质逼真的语音，合成效果越来越好，使用也越来越普及。

基于注意力机制的序列到序列模型(attn.-seq2seq模型)相对传统文本语音转换模型(TTS模型)有更自然更流畅的效果，很多公司开始采用基于注意力机制的序列到序列模型作为它们的线上服务。与传统TTS模型相比，基于注意力机制的序列到序列模型的发音相对不够稳定，容易出现发怪音(含糊、重读、吞音等)问题，判断基于注意力机制的序列到序列模型的语音合成的发音稳定性往往需要耗费大量的人力去听测，目前没有客观的针对基于注意力机制的序列到序列模型的稳定性衡量指标。

发明内容

为了至少部分地解决现有技术中存在的问题，提供一种语音合成的发音稳定性评价方法、装置和系统及存储介质。

根据本发明一个方面，提供一种语音合成的发音稳定性评价方法，包括：步骤S110：获取待合成文本的音子序列；步骤S120：将音子序列输入语音合成模型进行语音合成，以获得注意力矩阵和用于表示合成语音的声学参数序列，其中，语音合成模型是基于注意力机制的序列到序列模型，声学参数序列包括与合成语音所包括的n个语音帧集一一对应相关的声学参数，n个语音帧集中的每个语音帧集包括多个语音帧，注意力矩阵用于表示音子序列与声学参数序列之间的相关度，n是大于或等于1的整数；步骤S130：基于注意力矩阵中的元素计算稳定性评分，其中，稳定性评分用于反映音子序列与声学参数序列之间的相关度相对于正常注意力矩阵中的相关度的偏离情况；以及步骤S140：基于稳定性评分确定合成语音的发音稳定性。

示例性地，注意力矩阵中的第一向量组包括与音子序列所包括的m个音子一一对应的m个向量，注意力矩阵中的第二向量组包括与n个语音帧集一一对应的n个向量，其中，第一向量组是行向量组并且第二向量组是列向量组，或者第一向量组是列向量组并且第二向量组是行向量组，m是大于或等于1的整数，基于注意力矩阵中的元素计算稳定性评分包括：对于第一向量组中的第i个向量，对第i个向量中的元素求和，以获得第i个向量的求和结果，其中，i＝1,2,……,m；基于求和结果与第一阈值之间的差值确定第i个向量的第一向量评分，稳定性评分包括第一向量评分；基于稳定性评分确定合成语音的发音稳定性包括：基于第i个向量的第一向量评分确定合成语音中与第i个向量相对应的音子的吞音情况。

示例性地，在基于求和结果与第一阈值之间的差值确定第i个向量的第一向量评分之前，基于注意力矩阵中的元素计算稳定性评分还包括：取第一向量组中的所有向量的求和结果的中位数或三分数；对中位数求平均或计算三分数的三分之一，以获得第一阈值。

示例性地，基于求和结果与第一阈值之间的差值确定第i个向量的第一向量评分包括：计算第一阈值减去第i个向量的求和结果获得的差值；在差值小于或等于0的情况下，将第i个向量的第一向量评分取为0，并在差值大于0的情况下，将第i个向量的第一向量评分取为差值。

示例性地，基于注意力矩阵中的元素计算稳定性评分还包括：基于第一向量组中的所有向量的第一向量评分计算第一组评分，稳定性评分还包括第一组评分；基于稳定性评分确定合成语音的发音稳定性还包括：基于第一组评分确定合成语音中所有音子的综合吞音情况。