[发明专利]一种基于多空间融合的学习者学习过程的专注度感知方法

说明书

本发明公开了一种基于多空间融合的学习者学习过程的专注度感知方法。该方法包括：获取学生教师课堂学习过程中的感知温度图像；对所述感知温度图像进行预处理，并按照预设的频率选取所述感知温度图像的关键帧；将选取的所述关键帧输入2D卷积神经网络，得到第一输出特征；获取学生线上学习过程中的鼠标移动轨迹；将若干张带有时间序列的所述鼠标移动轨迹输入3D卷积神经网络，得到第二输出特征；将所述第一输出特征与第二输出特征输入SVM线性分类器，得到专注度分级结果。本发明实现了使用深度学习方式提取特征，将二维卷积网络和三维卷积网络分别提取不同的特征，并且对特征使用SVM线性分类器进行分类，可以获得更好的分类效果。

技术领域

本申请涉及教育信息化技术领域，具体而言，涉及一种基于多空间融合的学习者学习过程的专注度感知方法。

背景技术

温度是每个人在生活中无时无刻都会拥有的特征，也是人的身体各个部分都会出现的特征，同时，在人的心理特征或者身体状态出现不同的波动时，人的身体不同的部位的温度都会出现变化。因此，人的身体部分的温度会很直接的映射出学生的学习状态。而在网络空间的学习过程中，鼠标的移动也是必不可少的人体活动，而不同的鼠标移动轨迹也反映出当前时间学生的学习状态、专注度等信息。因此，捕捉到这些人体自然而然的在学习过程中的反应，对观测学生在学习过程中的专注程度有相当高的应用价值。

目前的学生学习感知技术都是使用传统的传感器，观测学习者的眼动状态、通过视频录像人为的判断、或者使用神经网络来识别面部表情、学习者的学习姿态等信息来学习学生的学习状态，但是缺忽略了学生的内在表征及一些细微的动作变化也反映了学生当前的学习状态。

中国专利申请号为202010719020X的发明专利申请公开了一种基于头部姿态的专注度检测方法及装置，其主要技术方案为：获取预设时间段内采集到包含有头部动作的用户头部图像；当接收到识别指令时，将所述用户头部图像输入至所述头部姿态识别模型中，输出用户头部姿态数据，其中，所述头部姿态识别模型用于识别样本图像中的头部区域以及头部偏移角度；通过解析所述用户头部姿态数据，确定用户在预设时间段内的专注度。然而，头部姿态是学习者学习过程中的外部行为，并且容易因个人习惯产生干扰性数据，对专注度检测结果造成影响。

发明内容

为了解决上述问题，本申请实施例提供了一种基于多空间融合的学习者学习过程的专注度感知方法。该方法将针对物理空间学习过程中的人体温度和网络空间学习过程中的鼠标移动轨迹，分别训练2D和3D卷积网络，再使用SVM线性分类器对神经网络提取出的特征进行分类，从而达到学习者学习过程中的专注度预测。

第一方面，本申请实施例提供了一种基于多空间融合的学习者学习过程的专注度感知方法，所述方法包括：

(1)获取学生教师课堂学习过程中的感知温度图像；

(2)对所述感知温度图像进行预处理，并按照预设的频率选取所述感知温度图像的关键帧；

(3)将选取的所述关键帧输入2D卷积神经网络，得到第一输出特征；

(4)获取学生线上学习过程中的鼠标移动轨迹；

(5)将若干张带有时间序列的所述鼠标移动轨迹输入3D卷积神经网络，得到第二输出特征；

(6)将所述第一输出特征与第二输出特征输入SVM线性分类器，得到专注度分级结果。

所述步骤(1)中的温度感知图像，需要在教室中安装固定的红外测温仪，按照时间点记录下每一帧的温度图像。

所述步骤(3)的2D卷积神经网络的原型依托于VGG-13网络，在其基础上，根据我们所设定的关键帧的帧数，对后续的网络进行修改。

具体的，所述步骤(3)中的2D卷积神经网络按照以下方式训练得到：