[发明专利]一种英语口语考试语音智能评测方法、系统及装置

说明书

本发明提出的一种英语口语考试语音智能评测方法、系统及装置，属于语音识别及评测技术领域。所述方法包括：对英语口语音频数据进行预处理，得到音频序列x；将x进行MFCC特征表示得到特征x1；将x进行FBANK特征表示得到特征x2；使用声学模型对特征x1进行处理得到音素概率分布p；将p输入类语音评测模型中，得到发音得分结果score1；使用识别模型结合语言模型及解码算法对特征x2进行处理得到语音识别文本text；将text输入语义模型中，得到语义得分结果score2；对score1和score2进行综合评价，生成评分结果score。本发明能够灵活应对考生在实际考试中的语音情景，提升了语义识别效果。

技术领域

本发明涉及语音识别及评测技术领域，更具体的说是涉及一种英语口语考试语音智能评测方法、系统及装置。

背景技术

近年来，随着人工智能领域的飞速发展，以及机器学习，尤其是深度学习等技术的深度应用，语音评测技术的研究和应用越来越受到关注。语音评测技术是针对口语发音水平及发音正误进行自动评价、打分、检错并提供纠正的技术，尤其针对英语口语考试，主要应用其自动评分的特性，其评测维度分为两个方面，一方面是发音准确性、发音流利性和发音韵律性等维度，另一方面是语法准确性、语义相关性和回答完整性等维度。

相较于人工评分，语音评测技术有其明显的优势，一是所需要的阅卷人员人数更少，降低人力物力，阅卷周期更短；二是在定标数据质量比较高的情况下，智能评测相比于阅卷人员之间的评分差异更小；三是机器评分可以避免人工评分时的听力疲劳，确保评分的稳定性，从而保证评分的客观性和公正性。

目前语音评测领域针对发音准确性、发音流利性和发音韵律性等维度的评测方法大多是基于GOP或者以此为基础评测发音的好坏，此外MDD方案也有应用，其需要标注到音素级，标注成本较高。针对语法准确性、语义相关性和回答完整性等维度的评测方法包括传统语义模型和深度语义模型两种，传统语义模型的隐式模型通常将文本映射到同一个隐式向量空间，通过向量相似度来计算其相关性，而传统语义模型的翻译模型将文本进行翻译改写后进行相关性匹配。深度语义模型使用深度学习模型表征文本，映射到同一个低维空间，通过计算向量相似度作为语义相关性分数，并最大化点击的条件概率，整体实现语义相关维度的评测，但其在模型学习时文本之间没有交互，不能充分利用文本的细粒度匹配信号。

发明内容

针对现有技术中存在的问题，本发明的目的在于提供一种英语口语考试语音智能评测方法、系统及装置，采用改进的类GOP方法实现发音维度的测评和基于Bert模型实现语义维度的测评。

本发明为实现上述目的，通过以下技术方案实现：

一种英语口语考试语音智能评测方法，包括如下步骤：

S1：对英语口语音频数据进行预处理，得到预处理后的音频序列x；

S2：将预处理后的音频序列x进行MFCC特征表示得到特征x1；将预处理后的音频序列x进行FBANK特征表示得到特征x2；

S3：使用LSTM-HMM声学模型结合Ngram语言模型对特征x1进行处理得到音素概率分布p；

S4：联合发音词典，将音素率分布p输入类GOP英语口语语音评测模型中进行评测，得到发音准确性、发音流利性、发音韵律性的发音得分结果score1；

S5：使用RNN-Transducer端到端的识别模型结合Ngram语言模型及CTC解码算法对特征x2进行处理得到语音识别文本text；

S6：联合需评测的题目内容文本，将语音识别文本text输入到基于BERT的语义模型中进行评测，得到语法准确性、语义相关性、回答完整性的语义得分结果score2；

S7：对发音得分结果score1和语义得分结果score2进行综合评价，得到最终的评分结果score。