[发明专利]一种英语口语考试语音智能评测方法、系统及装置

权利要求书

1.一种英语口语考试语音智能评测方法，其特征在于，包括如下步骤：

S1：对英语口语音频数据进行预处理，得到预处理后的音频序列x；

S2：将预处理后的音频序列x进行MFCC特征表示得到特征x1；将预处理后的音频序列x进行FBANK特征表示得到特征x2；

S3：使用LSTM-HMM声学模型结合Ngram语言模型对特征x1进行处理得到音素概率分布p；

S4：联合发音词典，将音素率分布p输入类GOP英语口语语音评测模型中进行评测，得到发音准确性、发音流利性、发音韵律性的发音得分结果score1；

S5：使用RNN-Transducer端到端的识别模型结合Ngram语言模型及CTC解码算法对特征x2进行处理得到语音识别文本text；

S6：联合需评测的题目内容文本，将语音识别文本text输入到基于BERT的语义模型中进行评测，得到语法准确性、语义相关性、回答完整性的语义得分结果score2；

S7：对发音得分结果score1和语义得分结果score2进行综合评价，得到最终的评分结果score；

所述步骤S6包括如下步骤：

S61：利用Bert语义模型分别对语音识别文本和题目内容文本进行向量化处理，提取语义特征，构建语音识别文本映射矩阵和题目内容文本映射矩阵；

S62：利用卷积神经网络分别对语音识别文本映射矩阵和题目内容文本映射矩阵进行运算，得到语音识别文本的语义特征矩阵和题目内容文本的语义特征矩阵；

S63：利用PCA主成分分析算法分别对语音识别文本的语义特征和题目内容文本的语义特征进行降维处理，得到语音识别文本的语义特征向量和题目内容文本的语义特征向量；

S64：计算语音识别文本的语义特征向量和题目内容文本的语义特征向量的相似度，利用公式A=S×F计算出相应的语义得分A；

其中，S为相似度，F为本题总分值。

2.根据权利要求1所述的英语口语考试语音智能评测方法，其特征在于，所述步骤S1具体为：

采用LMS自适应滤波器降噪方法对英语口语音频数据的噪声进行抑制处理，得到音频序列x。

3.根据权利要求1所述的英语口语考试语音智能评测方法，其特征在于，所述步骤S4中， 类GOP英语口语语音评测模型采用的评价公式如下：

（1）

（2）

其中，s_t为第t帧的多元音素，Q_t为当前声学观测值，n为声学模型中多元因素的总数，T为音素总帧数。

4.根据权利要求1所述的英语口语考试语音智能评测方法，其特征在于，所述卷积神经网络包括5层卷积层和3层池化层。

5.根据权利要求1所述的英语口语考试语音智能评测方法，其特征在于，所述步骤S7包括：

根据预设的评分标准对发音得分结果score1和语义得分结果score2进行综合评价，得到最终的评分结果score。