[发明专利]一种用于指导教学的双模态情绪分类方法

权利要求书

1.一种用于指导教学的双模态情绪分类方法，通过实验对受试者脑电信号和人脸图像数据进行情绪分析，探究最能调动学生积极性的教学方式；包括：采集受试者在观看不同教学视频时的脑电信号和人脸视频数据；分别对两种数据进行预处理，将其输入到分类器中，进行情绪分类；最后将分类器的结果进行融合，得到最终的情绪分类结果；具体步骤为：

步骤一、设计实验流程，准备实验视频；

步骤二、采集实验过程中受试者的脑电信号、人脸图像数据，以及真实标签数据；

步骤三、对所采集到的脑电信号、人脸图像数据分别进行预处理；

步骤四、设计并训练子分类器，分别将预处理后的脑电信号和人脸图像输入子分类器进行情绪分类；其中，分类器采用SVM神经网络，用于脑电信号分类；采用CNN神经网络，用于人脸图像分类；

步骤五、对两个子分类器的结果进行融合，得到最终情绪分类结果。

2.根据权利要求1所述的双模态情绪分类方法，其特征在于，步骤一的具体流程如下：

（1）准备一定数量的不同类型的教学视频，长度均为1-2min；

（2）招募若干实验者，参与实验；

（3）准备脑电信号采集设别与录像设备；

（4）实验正式开始之前，受试者被要求处于平稳状态下休息2min，并记录下此时平稳状态下的脑电信号与人脸图像作为基准。

3.根据权利要求2所述的双模态情绪分类方法，其特征在于，步骤二的具体流程如下：

（1）每一位受试者观看步骤一采集的教育视频，并收集脑电信号、进行视频录像；

（2）在每一个视频结束之后，受试者进行自我评估，评估的内容包括唤醒度、愉悦度、喜欢程度、掌控度。

4.根据权利要求3所述的双模态情绪分类方法，其特征在于，步骤三所述的预处理的具体流程如下：

（1）对脑电信号进行预处理；采用32个活性AgCl电极采集脑电信号，并对采集到的脑电信号降采样到256Hz；

（2）将降采样后的脑电信号输入截止频率为2Hz的高通滤波器，并使用脑电采集系统的眼电干扰去除功能和伪迹去除功能，去除眼电伪迹和肌电伪迹；

（3）考虑到脑电信号的一般带宽，采用3Hz到47Hz的带通滤波器，对步骤（2）处理后的脑电数据进行过滤，并调整采样数；

（4）使用5个脑电波段，分别为theta（4-8Hz）、slow alpha（8-10Hz）、 alpha（8-12Hz）、beta（12-30Hz）和gamma（30+Hz）；使用14个通道：AF3、F3、F7、FC5、T7、P7、O1、AF4、F4、F8、FC6、T8、P8、O2，共有70个特征；

（5）对视频信号进行预处理；将完整的录制视频按照每段实验测试时间1-2min截取，并在每段测试期间按帧截取图片，得到多组受试者人脸表情图片；

（6）为了减少冗余内容，对每一帧图片进行人脸对齐和面部剪裁处理；使用主动外观模型AAM获取图像中的主要像素点坐标，并将图片当中的人脸主要轮廓标定出来，进行裁剪。

5.根据权利要求4所述的双模态情绪分类方法，其特征在于，步骤四的具体流程为：

（1）将经过预处理后的脑电数据输入SVM神经网络中，进行模型训练；并调整SVM神经网络的惩罚系数，以取得较好的分类结果；

（2）训练完SVM神经网络模型之后，针对不同的受试者分别进行唤醒度和愉悦度数值的预测；

（3）将经过预处理后的人脸图像输入CNN神经网络中，进行模型训练，将卷积层参数固定；

（4）对步骤（3）训练后的CNN神经网络，以较小的学习率在小数据集上进行第二次训练，微调参数；

（5）将同一个视频中所截取的不同人脸图像输入CNN神经网络，得到唤醒度和愉悦度的数值预测结果。