[发明专利]一种基于多模态融合的在线学习智能辅助系统

说明书

本发明提供一种基于多模态融合的在线学习智能辅助系统，包括：学习图形界面模块，用于提供用户在线学习界面；数据采集及可视化模块，用于采集用户的多模态情感数据，并将采集的多模态情感数据进行图形化显示；数据分析处理模块，用于对采集的多模态情感数据进行分析处理，得到用户的情感类型和气质类型；学习反馈模块，用于根据用户不同的情感类型实施相应的学习干预；学习策略调整模块，用于根据用户不同的气质类型调整用户的学习策略。本发明能够增强用户在线学习过程中的交互感和体验，从而进一步提升在线学习的学习效果。

技术领域

本发明涉及智能服务及网络教育技术领域，特别涉及一种基于多模态融合的在线学习智能辅助系统。

背景技术

随着信息技术在教育领域的不断应用，教育模式和教育方法不断发生变革。在线学习以其独特的时空优势成为当代众多学习者的选择。在线学习平台如雨后春笋般相继涌出。网上学习不受年龄、时间、地区的影响，可以接收到各种优秀课程资源。相较于传统课堂教学，网上学习有利于培养学生自主学习、自主探索的能力。但是网上学习是一种师生、教学之间的时空分离状态，通常老师无法掌握学生的学习状态，对于自律能力不强的学生，容易出现学习效率不高的问题。通常，老师是通过学生学习时的面部表情来判断学生的学习状态和对该课程知识的感兴趣程度，因此，在智慧教育中要解决的关键问题是实现对学习者的学习情绪检测与识别。

情感识别研究的重要基础是有一个合适的情感特征，当前学者对各种单一模态的情感识别研究较多，而对两种情感模态以上的情感特征关注较少。情感识别的实质就是在上述情感载体中提取出特征，并给出其中隐藏的情感信息。当前很多情感识别的方法都只依赖于面部表情，这种仅仅依据单一载体传递的信息来识别情感的方式称为单模态情感识别，然而这种情感识别往往是片面的，主要原因在于情感表达方式的多样性。比如人们在愉悦时，除了表现在面部嘴角上扬，面部肌肉放松外，说话的音调也会稍稍提高，音色会变得轻快。因此，单个模态传递的信息缺乏完整性，成熟的情感识别需要各个模态之间的相互融合。借助深度学习的方法，可以实现自适应地特征提取，避免重复劳动，在一定程度上提高情感识别的效率。

发明内容

本发明的目的在于提供一种基于多模态融合的在线学习智能辅助系统，解决现有技术中情感识别模式单一的问题，提高情感识别效率，从而提升用户在线学习的交互感和体验。

为解决上述技术问题，本发明的实施例提供如下方案：

一种基于多模态融合的在线学习智能辅助系统，包括：

学习图形界面模块，用于提供用户在线学习界面，所述用户在线学习界面包括用户登录界面、用户个人空间界面、学习内容界面；

数据采集及可视化模块，用于采集用户的多模态情感数据，并将采集的多模态情感数据进行图形化显示；所述多模态情感数据包括表情信号数据、生理信号数据和眼动信号数据；

数据分析处理模块，用于对采集的多模态情感数据进行分析处理，得到用户的情感类型和气质类型；

学习反馈模块，用于根据用户不同的情感类型实施相应的学习干预，所述学习干预包括给予鼓励、学习流程调整、学习难度优化；

学习策略调整模块，用于根据用户不同的气质类型调整用户的学习策略，包括学习资源调整和学习方式调整。

优选地，所述数据采集及可视化模块包括：

摄像头，用于采集用户的表情信号数据；

可穿戴式生理传感器，用于采集用户的生理信号数据；

眼动仪，用于采集用户的眼动信号数据。

优选地，所述数据分析处理模块包括：