[发明专利]一种基于情感状态的在线学习系统

权利要求书

1.一种基于情感状态的在线学习系统，其特征在于，包括：

数据采集模块，用于采集学习者的头部图像数据和在线交互行为数据；

学习情感评定模块，用于对所述数据采集模块所采集的学习者的头部图像数据和在线交互行为数据分别进行分析处理，并通过分析处理结果，基于预先建立的学习情感模型，实时获取所述学习者的学习情感状态；

专注度调整模块，用于依据所述学习者的当前学习情感状态，判断当前是否需要暂停学习，进入交互放松模式；

学习内容干预模块，用于依据所述学习者的当前学习情感状态，动态调整学习内容库中的学习内容；所述学习内容库中包括学习者待学习的内容；

所述数据采集模块包括头部图像数据采集单元和在线交互行为数据采集单元；

其中，所述头部图像数据采集单元用于采集包括学习者在线学习时的面部表情特征和学习者在线学习过程中的头部转动姿态的头部图像数据；

所述在线交互行为数据采集单元用于采集学习者在定时问答测试过程中的对输入设备的操作时长和频率；

所述学习情感评定模块包括数据处理单元和情感评定单元；

其中，所述数据处理单元用于对学习者的头部图像数据和在线交互行为数据进行分析处理，获得学习者的主观情感状态和客观学习效果；

所述情感评定单元用于在所述学习情感映射模型的基础上，融合学习者的主观情感状态和客观学习效果，获取学习者的当前情感状态；

所述数据处理单元包括图像数据处理子单元和交互行为数据处理子单元；

其中，所述图像数据处理子单元用于对学习者的头部图像数据进行降噪、分割和归一化预处理，然后进行面部表情特征识别和头部转动姿态分析，得到学习者的面部表情特征和头部转动姿态，进而获得学习者的主观情感状态；

当学习者面部表情特征为愉悦、平静且头部转动姿态为头部偏转幅度在预设范围内时，表明所述学习者的主观情感状态为积极学习状态；当学习者的面部表情特征为悲伤、惊讶或头部转动姿态为头部在预设时长内一直偏离屏幕时，表明所述学习者的主观情感状态为消极学习状态；

所述交互行为数据处理子单元用于提取学习者的在线交互行为数据和问答结果数据，然后计算学习者的答题时长和答题准确率，并基于学习者的答题时长和答题准确率分析所述学习者的客观学习效果；

所述学习情感映射模型通过学习者的面部表情特征反映学习者对当前学习内容的理解程度，通过学习者的头部转动姿态反映学习者在学习过程中的专注程度，通过学习者的在线交互行为数据反映学习者对当前学习内容的掌握程度；所述情感评定单元具体用于：

在所述学习情感映射模型的基础上，融合学习者的主观情感状态和客观学习效果，根据学习者的面部表情获取所述学习者对当前学习内容的理解程度，根据学习者的头部转动姿态获取所述学习者在当前学习过程中的专注程度，根据学习者的在线交互行为数据获得所述学习者对当前学习内容的掌握程度；

并根据预设分类方式获取学习者当前的学习情感状态；其中，所述预设分类方式将学习者的学习情感状态划分为：专注及熟练、专注及生疏、涣散及熟练、涣散及生疏四类状态；

所述专注度调整模块具体用于：

当评定学习者处于“涣散”状态时，判断所述学习者此时处于注意力下降状态，不适合继续学习；进而暂停学习，进入语音交互放松模式，提示所述学习者进行预设放松时长的放松时段；

所述学习内容干预模块具体用于：

当判定学习者处于“熟练”状态时，将对应的学习内容置入已掌握内容库，并将其从学习内容库中移除，不再继续学习；

当判定学习者处于“生疏”状态时，仍将对应的学习内容留在学习内容库中，在所述学习者结束一轮学习后，仍需继续学习对应的学习内容；

用户结束学习后，系统自动保存整个在线学习过程中的情感趋势，以供用户查询任意时间段的学习状态，了解自己的知识薄弱环节，及时展开复习。

2.如权利要求1所述的基于情感状态的在线学习系统，其特征在于，所述图像数据处理子单元进行面部表情特征识别的过程包括：

采用卷积神经网络对大量公开表情数据集进行训练，得到表情分类模型；

将学习者经过预处理后的头部图像与所述表情分类模型进行匹配，得到所述学习者的面部表情特征。

3.如权利要求1所述的基于情感状态的在线学习系统，其特征在于，所述图像数据处理子单元进行头部转动姿态分析的过程包括：

选用主动形状模型定位人脸面部特征点；

建立三维坐标系，提取各特征点的位置坐标；

将提取的位置坐标与学习者的头部图像的特征点坐标进行几何运算，得到所述学习者的头部转动姿态。