[发明专利]一种用于指导教学的双模态情绪分类方法

说明书

本发明属于人工智能技术领域,具体为一种用于指导教学的双模态情绪分类方法。本发明通过实验对受试者脑电信号和人脸图像数据进行情绪分析，探究最能调动学生积极性的教学方式；包括：采集受试者在观看不同教学视频时的脑电信号和人脸视频数据；分别对两种数据进行预处理，将其输入到两个分类器中，包括采用SVM神经网络用于脑电信号分类；采用CNN神经网络用于人脸图像分类；最后将两个分类器的结果进行融合，得到最终的情绪分类结果；与目前常用的情绪分类方法相比，本发明可提高情绪识别准确率，并且可用于指导教师设计教学方法，提高教学过程的有效性。

技术领域

本发明属于人工智能技术领域,具体涉及一种多模态信息融合方法，特别涉及一种用于指导教学的双模态情绪分类方法。

背景技术

情绪智力是心理学的一个新兴研究课题，不管是在心理学界，还是在教育界，都引起了研究者的重视和兴趣。情绪智力是一种保持自我控制、热诚和坚持，并能自我激励的能力。一个带着积极情绪学习课程的学生，比那些缺乏热情、乐趣或兴趣的学生，或者比那些对学习内容感到焦虑和恐惧的学生，学习得更加轻松，更加迅速。因此，采用何种教学方式可以更好的提高学生的积极程度，提高教学有效性成了很多学者思考的问题。

对于学生学习过程中的积极度评估，可以采用脑电信号和人脸图像数据。脑电信号是由中枢神经系统产生的一种空间离散的非平稳随机信号，可以通过放置在受试者头上的电极来记录，相比其他的生理信号能够更真实可靠的反映人的情绪状态。人脸图像是人当前情绪状态最直接的体现，但面部表情易于伪装，可靠性较差，所以可考虑将脑电信号与人脸图像结合起来，采用基双模态情绪识别系统。基于这两种数据的情绪识别可以互相补足彼此数据集的短处，获得更高的情绪识别准确率，用于指导教学方法。

发明内容

本发明的目的在于提供一种可以调动学生学习积极性的用于指导教学的双模态情绪分类方法。

本发明提供的用于指导教学的双模态情绪分类方法，通过实验对受试者脑电信号和人脸图像数据进行情绪分析，探究最能调动学生积极性的教学方式；包括：采集受试者在观看不同教学视频时的脑电信号和人脸视频数据；分别对两种数据进行预处理，将其输入到分类器中，进行情绪分类；最后将分类器的结果进行融合，得到最终的情绪分类结果；具体步骤为：

步骤一、设计实验流程，准备实验视频；

步骤二、采集实验过程中受试者的脑电信号、人脸图像数据，以及真实标签数据；

步骤三、对所采集到的脑电信号、人脸图像数据分别进行预处理；

步骤四、设计并训练子分类器，分别将预处理后的脑电信号和人脸图像输入子分类器进行情绪分类；其中，分类器采用SVM神经网络，用于脑电信号分类；采用CNN神经网络，用于人脸图像分类；

步骤五、对两个子分类器的结果进行融合，得到最终情绪分类结果。

其中，步骤一的具体流程如下：

(1)准备一定数量的(比如，30-50个视频，具体如30个视频、40个视频、50个视频等等)不同类型的教学视频，长度均为1-2min；

(2)招募若干实验者，比如10-30名实验者，其中男女各半，参与实验；

(3)准备脑电信号采集设别与录像设备；

(4)实验正式开始之前，受试者被要求处于平稳状态下休息2min，并记录下此时平稳状态下的脑电信号与人脸图像作为基准。

步骤二的具体轮流程如下：

(1)在步骤一的基础上，开始实验；每一位受试者会观看一定数量的视频(比如，30-50个视频，具体如30个视频、40个视频、50个视频等等)，并在实验期间收集脑电信号、进行视频录像；