[发明专利]一种基于脑电波的口语评测方法

权利要求书

1.一种基于脑电波的口语评测方法，其特征是，包括训练阶段和评测阶段，所述的训练阶段指的是：运用脑电波信号，利用深度学习技术来训练发音流利度、发音难度和发音多样性的特征提取模型，根据特征提取模型提取特征，最终训练得到口语打分模型；所述的评测阶段指的是：脑电波传感器获取脑电波信号，提取发音流利度、发音难度和发音多样性的特征，利用口语打分模型进行口语评测。

2.根据权利要求1所述的一种基于脑电波的口语评测方法，其特征是，所述的训练阶段步骤如下：

（1）数据收集和标注，建立脑电波信号语料、音频语料库及标注文件；脑电波传感器检测人脑，每次将采集得到脑电波原始信号转换为脑电波数字信号；同时录制音频文件，人工对音频文件进行听音，对对应脑电波信号文件标注相应发音流利度、发音难度、发音多样性的人工打分文件；设定发音流利度分为五个等级，发音难度分为五个等级，发音多样性分为五个等级，其中五个等级分别对应的数值为0、1、2、3、4；

（2）利用信号处理算法处理脑电波数字信号，得到频谱信号；具体流程如下：将脑电波数字信号进行分段处理，对每一段信号利用快速傅里叶变换得到频域信号，对频域信号提取功率谱，最后对功率谱进行Log变换，得到Log功率谱，即频谱信号；

（3）运用频谱信号及步骤（1）标注的包含发音流利度、发音难度、发音多样性的人工打分文本，利用深度学习模型训练发音流利度、发音难度、发音多样性的特征模型，同时利用深度学习模型对频谱信号提取特征；

（4）利用训练得到的特征模型对脑电波数字信号提取有关口语的发音流利度、发音难度、发音多样性的特征得分，并根据线性回归算法训练最终的口语打分模型。

3.根据权利要求2所述的一种基于脑电波的口语评测方法，其特征是，在步骤（2）中，分段处理方式具体为：每段长度为1s，每段处理完毕，向后移动0.5s，相邻两段之间会有0.5s重叠，重复处理，直到处理完毕；快速傅里叶变换是离散傅里叶变换的快速算法。

4.根据权利要求2所述的一种基于脑电波的口语评测方法，其特征是，在步骤（3）中，所述的深度学习模型包括深度神经网络、卷积神经网络和循环神经网络；深度学习是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法，提取的特征包括发音流利度、发音难度、发音多样性，这些特征是深度学习算法自动学习得到，之后对脑电波信号相应的时间片段上进行标注即可。

5.根据权利要求2所述的一种基于脑电波的口语评测方法，其特征是，在步骤（4）中，设定发音流利度分为五个等级，发音难度分为五个等级，发音多样性分为五个等级，其中五个等级分别对应的数值为0、1、2、3、4，线性回归算法公式如下：Y= AX + b，该公式是向量形式，其中，Y 是最终得分，A 和b 是口语打分模型参数，A 是矢量，b 是标量，X是提取的特征向量。

6.根据权利要求2或3或4或5所述的一种基于脑电波的口语评测方法，其特征是，所述的评测阶段步骤如下：

（a）脑电波传感器检测人脑，每次将采集得到脑电波原始信号转换为脑电波数字信号；

（b）利用信号处理算法处理脑电波数字信号，得到频谱信号，将脑电波数字信号进行分段处理，对每一段信号利用快速傅里叶变换得到频域信号，对频域信号提取功率谱，最后对功率谱进行Log变换；

（c）根据训练得到的深度学习模型，对频谱信号提取发音流利度、发音难度、发音多样性的特征；

（d）利用训练得到的口语打分模型，并根据提取的特征对人的口语进行口语评测。

7.根据权利要求6所述的一种基于脑电波的口语评测方法，其特征是，在步骤（b）中，分段处理方式具体为：每段长度为1s，每段处理完毕，向后移动0.5s，相邻两段之间会有0.5s重叠，重复处理，直到处理完毕；快速傅里叶变换是离散傅里叶变换的快速算法。