[发明专利]一种面向在线视频学习的基于眼动和视频特征的情感识别方法

说明书

本发明公开了一种面向在线视频学习的基于眼动和视频特征的情感识别方法。包括以下步骤：S1、自建眼动和视频特征的数据库，以学习视频作为刺激材料，获取数据；并对数据对齐、标注、预处理、数据集设置、数据类型转换、数据集划分等操作。S2、设计一个基于卷积神经网路的特征提取模块FE‑CNN，提取原始特征的深层特征。S3、设计一个基于卷积神经网路的情感分类模块EC‑CNN。S4、采用特征层融合、决策层融合和模型层融合对眼动信号、音频信号和视频图像进行融合，找出最佳融合策略。S5、对训练过程可视化并通过评价指标对所提出的网络结构评价，以检测所提出的网络的优劣。

技术领域

本发明涉及情感识别领域，尤其涉及一种面向在线视频学习的基于眼动和视频特征并使用改进的卷积神经网络提取深层特征进行情感识别的方法。

背景技术

在线教育通过利用互联网终端的优势，不仅打破了空间的局限，使教学形式更加灵活，而且凭借高效、低成本的优势吸引了越来越多的线上用户。随着5G和人工智能等领域飞速发展，现代教育技术也在快速发展与变革，为教育方式与教育手段带来了新的技术。

在在线视频学习过程中，学习者会受学习材料产生不同的情感状态，而情感对于人类的认知、学习、记忆、思维和社交都有很大的影响。关联主义学习理论者西蒙斯(GeorgeSiemens) 指出，在学习过程中，学习者的思维方式和情感状态会相互影响。相关心理学研究表明，学习过程中的感兴趣、高兴、满意等积极正向的情感状态有助于激发学习兴趣，促进认知活动；而走神、困惑、无聊等消极负向情感则会影响学习者的专注程度、耐心指标，阻碍认知活动。综上所述，学习者在学习过程中的情感状态会对学习者的学习效率产生一定的影响。而现有的在线网络学习环境注重学习者认知层面的适应性和个性化，即根据学习者的认知能力和知识状态提供合适的学习内容、学习路径和问题解答等，而较少考虑情感、兴趣、动机、意志等非智力因素在学习活动中的作用，忽视在线学习环境中和谐情感交互的理论和实践研究，以致其缺少情感层面的适应性和个性化，学习者在智慧学习过程中缺少情感支持。因此，在线视频学习环境中情感层面自适应交互的研究及实现成为急需解决的现实问题。该研究能够推动基于生物信息的情感识别在人机交互、教育、心理学以及认知科学中的发展，具有重要的科研价值及社会实践意义。

在传统教学中，师生面对面直观的交流，教师满意的表情、称赞的话语、鼓励的手势可给学习者传递积极的情感，以影响学习者的学习兴趣和态度。在线学习环境中师生由于时空上的准分离，教师将难以感受学习者的情感和状态，普遍存在“情感缺失”的问题。能够精准的识别学习者的情感是解决这一问题的关键。

视觉系统是人们获取外部信息最重要的通道，能客观反映出人脑的信息加工机制。人的认知加工过程很大程度上依赖于视觉系统，约有80％～90％的外界信息是通过人眼获取的。然而，通过视觉信息对情感进行识别的研究并不多。因此，探索眼动信息和视频内容信息三种信息与情感状态之间的关系是一种较新颖的研究方式。采集眼动信息可以使用眼动追踪(eye tracking)实验法即利用眼动仪对人的眼球运动进行记录并分析人们在注视过程中的各项眼动指标，并以此揭示人们的心理加工过程和规律的一种研究方法。眼动追踪实验法能够通过追踪用户眼部特征数据，更为客观的预测用户的信息需求，并且眼动追踪方法在记录的过程中更加自然、干扰较小，有其特殊的优越性。视频内容包括音频信号和视频图像，通过提取视频本身的对比度变化、亮度变化、以及镜头的运动和颜色的变化等特征来获取视频内容本身对学习者的影响。在教育领域，眼动信息和微表情信息可以反映学习者的认知过程、阅读理解机制，是学习状态的第一手资料，再配合上视频内容信息，可以更加真实的反映学习者当时的情感以及心理状态。

因此，通过眼动信息和视频内容信息快速精准的识别学习者的情感状态，当出现负向情感状态时，及时进行情感关怀，能够帮助学习者高效完成学习课程。如何设计一个能够精准识别学习者的情感状态的网络模型是当下需要解决的技术难题。

发明内容

本发明所要解决的技术问题：针对现有不足，本发明提出一种面向在线学习的基于眼动和视频特征的使用改进的卷积神经网络的情感识别方法，所提出的方法包括：