[发明专利]在线英语口语评估系统

说明书

技术领域

本发明涉及教育自动化领域，具体涉及一种在线英语口语评估系统。

背景技术

目前市场上已经出现了口语在线测试的产品，但这些产品目前采用的都是如下方法：先利用语音识别技术将学生口语音频识别成文本，而后对识别的文本进行特征分析，最后用机器学习算法给出学生口语评估结果。该方法最大问题来自语音识别阶段以及后续的特征分析阶段。首先，高精度的英语语音识别引擎研发成本昂贵，目前只有类似谷歌，IBM之类的大型科技公司或研究单位才拥有。其次，语音识别的结果决定后续一切，然而目前的英语语音识别技术只是在发音标准的语音识别上有足够的准确率，而在发音不够准确的英语初学者(比如中国英语学习者)语音识别上还不理想。最后，特征分析阶段需要英语口语教学考试领域的专家来设计特征，这也会消耗不少人力物力，而且效果不好。

发明内容

发明目的：本发明针对上述现有技术存在的问题做出改进，即本发明公开了在线英语口语评估系统，其在不使用英语语音识别技术且不依赖英语口语领域教学考试专家的情况下，实现对学习者英语口语的评估与打分，达到与现有方法同水平甚至更高的评估准确性和鲁棒性。

技术方案：在线英语口语评估系统，包括以下模块：

语音预处理模块，用于将待评测的英语口语音频文件随机分割为等长度切片；

卷积神经网络分析模块，对得到的音频切片进行短时傅里叶变换生成对应的二维时频图，再逐个对二维时频图进行高级抽象，得到音频切片的高级抽象特征；

评估与反馈模块，通过机器学习模型逐个对音频切片的高级抽象特征进行分析得到每个音频切片的分数，再对所有得分取平均数即得到最终的英语口语评估分数。

进一步地，随机音频切片的时长为5秒。

进一步地，语音预处理模块包括以下模块，

语音分析模块，用于将待评测的英语口语音频文件随机分割为等长度切片，再对所有的音频切片进行预加重、语音分帧、加窗和端点检测；

语音信号处理模块，针对所有音频切片，依次完成时域分析、频域分析和倒谱域分析；

声学参数分析模块，对音频切片的声学参数进行分析和计算，声学参数包括MEL频率倒谱系数、线性预测倒谱系数和线谱对系数；

更进一步地，语音信号处理模块包括以下模块：

时域分析模块，分析和提取音频切片中的时域特征参数；

频域分析模块，通过带通滤波器组法、短时傅里叶变换法、频域基音检测法、时-频表示方法，提取音频切片的频谱、功率谱、倒频谱、频谱包络；

倒谱域分析模块，通过同态处理分析和提取音频切片的倒谱域特征参数，进一步将声门激励信息和声道响应信息有效地分开：声门激励信息用于判断清浊音、求基音周期，声道响应信息用于求共振峰，用于语音的编码、合成、识别。

更进一步地，时域特征参数包括短时能量和短时平均幅度、短时平均过零率、短时自相关系数和短时平均幅度差。

进一步地，卷积神经网络分析模块包括以下模块，

输入模块，将音频切片转化成若干相同尺度的二维时频图；

卷积层C1，将输入模块得到的二维时频图通过可训练的滤波器和可加偏置进行卷积，得到了二维时频图的局部特征；

特征映射图S2，对卷积层C1提取到的二维时频图的局部特征进行采样，加权值，加偏置来计算图像区域特定特征最大值，对图像特征进行聚合和映射；

卷积层C3，将特征映射图S2得到的图像特征进行再一次的卷积计算，得到图像的低维局部特征；

特征映射图S4，对卷积层C3提取的图像特征进行采样，加权值，加偏置来计算图像区域特定特征平均值，完成对图像特征的最终聚合和映射；

输出模块，将每一个音频切片的声学参数和经过特征映射图S4处理后的图像特征组合后，作为音频切片的整体特征进行输出。

有益效果：本发明公开的在线英语口语评估系统具有以下有益效果：

1、成本低，无需依赖语音识别技术，无需组织英语口语教学考试方面的专家进行特征设计；

2、鲁棒性强，无需依赖语音识别结果，对母语非英语人士的口语评估也有高准确率；

3、可扩展性强，随着数据的积累可以不断的进行自我学习，海量数据情况下效果极佳。

附图说明

图1为卷积神经网络分析模块的示意图。

具体实施方式：

下面对本发明的具体实施方式详细说明。

在线英语口语评估系统，包括以下模块：

语音预处理模块，用于将待评测的英语口语音频文件随机分割为等长度切片；