[发明专利]一种发音评测方法、装置、电子设备和存储介质

说明书

本公开实施例涉及一种发音评测方法、装置、电子设备和存储介质。其中，发音评测方法包括：获取强制对齐下的第一音素状态序列、自由识别下的第二音素状态序列以及发音音频的GOP分值，其中，所述发音音频为基于参考文本的音频数据，所述第二音素状态序列不受所述参考文本的音素序列的约束；对比所述第一音素状态序列和所述第二音素状态序列，得到所述发音音频的平均帧错误率；在所述发音音频的GOP分值高于所述平均帧错误率对应的参考分段时，对所述发音音频的GOP分值进行降分校正，得到最终评测分值。本公开技术方案提高了对发音进行评测打分的准确性。

技术领域

本公开涉及计算机技术领域，尤其涉及一种发音评测方法、装置、电子设备和存储介质。

背景技术

随着计算机技术和深度学习的发展，计算机辅助发音训练(Computer AssistedPronunciation Traing，CAPT)成为当前研究热点之一。尤其国内主要以英语学习为主，从读单词背诵到口语训练，再到情景对话，CAPT系统可以更方便、高效地帮助学生进行口语学习。CAPT系统设计需综合信号处理、深度学习和人机交互等多个学科知识，其中涉及到口语打分评测的技术。

口语打分评测是指发音人根据参考文本进行发音，机器对发音进行打分评判，确定发音的得分；机器的打分评测系统主要建立在一个语音识别模型基础之上，即先通过说话人的标准发音训练声学模型；在此基础上对于给定用户的语音，先提取相应的声学特征，根据声学模型得到发音单元（一般为音素）的似然值，最后通过发音良好度（Goodness ofPronunciation，GOP）的计算，最终得到发音人关于参考文本发音的打分值。

由于发音人发音错误的多样性和易变性，甚至环境因素的影响，如在开放嘈杂环境下发音。基于识别的声学模型和GOP的打分系统很难准确地对发音人的打分进行评判，导致系统反馈给口语学习者错误的信息。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种发音评测方法、装置、电子设备和存储介质。

本公开实施例提供了一种发音评测方法，包括：

获取强制对齐下的第一音素状态序列、自由识别下的第二音素状态序列以及发音音频的GOP分值，其中，所述发音音频为基于参考文本的音频数据，所述第二音素状态序列不受所述参考文本的音素序列的约束；

对比所述第一音素状态序列和所述第二音素状态序列，得到所述发音音频的平均帧错误率；

在所述发音音频的GOP分值高于所述平均帧错误率对应的参考分段时，对所述发音音频的GOP分值进行降分校正，得到最终评测分值。

在一个实施例中，获取强制对齐下的第一音素状态序列，包括：

获取所述发音音频和对应的参考文本；

提取所述发音音频的语音特征序列；

基于预设声学模型以及所述语音特征序列，将所述参考文本和所述发音音频进行强制对齐，计算得到所述第一音素状态序列。

在一个实施例中，获取自由识别下的第二音素状态序列，包括：

基于所述语音特征序列，采用语音识别模型计算得到所述第二音素状态序列。

在一个实施例中，获取发音音频的GOP分值，包括：

基于所述第一音素状态序列和所述第二音素状态序列，采用GOP算法对所述参考文本中每个音素的发音情况进行打分，得到每个音素的GOP分值；

基于所述每个音素的GOP分值确定所述发音音频的GOP分值。

在一个实施例中，对比所述第一音素状态序列和所述第二音素状态序列，得到所述发音音频的平均帧错误率，包括：