[发明专利]一种基于脑电波的口语评测方法

说明书

本发明公开了一种基于脑电波的口语评测方法。它包括训练阶段和评测阶段，所述的训练阶段指的是：运用脑电波信号，利用深度学习技术来训练发音流利度、发音难度和发音多样性的特征提取模型，根据特征提取模型提取特征，最终训练得到口语打分模型；所述的评测阶段指的是：脑电波传感器获取脑电波信号，提取发音流利度、发音难度和发音多样性的特征，利用口语打分模型进行口语评测。本发明的有益效果是：运行脑电波检测、信号处理技术和机器学习方法，实现了对学习者的口语发音进行准确、自动的评测，能够快速提高口语学习效能。

技术领域

本发明涉及口语评测相关技术领域，尤其是指一种基于脑电波的口语评测方法。

背景技术

随着人们生活水平的提高，人们对于外语学习的热情日益高涨。研究如何有效快速地自动评测口语学习有着重要的意义，不但可以显著地减少口语老师的工作量，而且可以提高口语学习的效能。目前，口语评测有人工口语评测和机器口语评测。人工口语评测需要专门的口语老师，同时需要人工反复地听取音频以给出专业的评价。机器口语评测，目前大多采用语音识别技术，训练收集大量语音，建立语音识别模型，根据识别结果提取特征，利用机器学习训练打分模型，最后得到口语得分。随着现代科学技术的发展，脑电波技术的发展进入快车道，在新的领域应用越来越多。

发明内容

本发明是为了克服现有技术中存在上述的不足，提供了一种能够快速提高口语学习效能的基于脑电波的口语评测方法。

为了实现上述目的，本发明采用以下技术方案：

一种基于脑电波的口语评测方法，包括训练阶段和评测阶段，所述的训练阶段指的是：运用脑电波信号，利用深度学习技术来训练发音流利度、发音难度和发音多样性的特征提取模型，根据特征提取模型提取特征，最终训练得到口语打分模型；所述的评测阶段指的是：脑电波传感器获取脑电波信号，提取发音流利度、发音难度和发音多样性的特征，利用口语打分模型进行口语评测。

本发明提出了口语的自动评测方法，通过采集使用者的脑电波信号，通过深度学习算法提取有关口语的发音流利度、发音难度、发音多样性的特征，在口语打分模型上进行打分，得到最终的口语评测得分。本发明运行脑电波检测、信号处理技术和机器学习方法，实现了对学习者的口语发音进行准确、自动的评测，能够快速提高口语学习效能。

作为优选，所述的训练阶段步骤如下：

（1）数据收集和标注，建立脑电波信号语料、音频语料库及标注文件；脑电波传感器检测人脑，每次将采集得到脑电波原始信号转换为脑电波数字信号；同时录制音频文件，人工对音频文件进行听音，对对应脑电波信号文件标注相应发音流利度、发音难度、发音多样性的人工打分文件；设定发音流利度分为五个等级，发音难度分为五个等级，发音多样性分为五个等级，其中五个等级分别对应的数值为0、1、2、3、4；

（2）利用信号处理算法处理脑电波数字信号，得到频谱信号；具体流程如下：将脑电波数字信号进行分段处理，对每一段信号利用快速傅里叶变换得到频域信号，对频域信号提取功率谱，最后对功率谱进行Log变换，得到Log功率谱，即频谱信号；

（3）运用频谱信号及步骤（1）标注的包含发音流利度、发音难度、发音多样性的人工打分文本，利用深度学习模型训练发音流利度、发音难度、发音多样性的特征模型，同时利用深度学习模型对频谱信号提取特征；

（4）利用训练得到的特征模型对脑电波数字信号提取有关口语的发音流利度、发音难度、发音多样性的特征得分，并根据线性回归算法训练最终的口语打分模型。

作为优选，在步骤（2）中，分段处理方式具体为：每段长度为1s，每段处理完毕，向后移动0.5s，相邻两段之间会有0.5s重叠，重复处理，直到处理完毕；快速傅里叶变换是离散傅里叶变换的快速算法。