[发明专利]一种基于多源数据融合的在线教育用专注度评价方法

权利要求书

1.一种基于多源数据融合的在线教育用专注度评价方法，其特征在于，包括：

S1：构建基于在线教育学习者的离开时长、头部姿态角度、眨眼频率、闭眼时长、打哈欠频率和学习者表情的专注度多层模糊评估模型；

S2：获取关于在线教育学习者的实际视频信息，以及对所述实际视频信息进行预处理，得到预处理视频信息；

S3：依据所述预处理视频信息，确定学习者在学习过程中的离开时长；

S4：依据所述预处理视频信息，确定学习者在学习过程中的头部姿态角度；

S5：依据所述预处理视频信息，确定学习者在学习过程中的眨眼频率和闭眼时长；

S6：依据所述预处理视频信息，确定学习者在学习过程中的打哈欠频率；

S7：依据所述预处理视频信息以及基于预设的表情判断模型，确定学习者在学习过程中的学习者表情；

S8：代入所述离开时长、头部姿态角度、眨眼频率、闭眼时长、打哈欠频率和学习者表情至专注度多层模糊评估模型，得到学习者的学习专注度。

2.根据权利要求1所述的一种基于多源数据融合的在线教育用专注度评价方法，其特征在于，所述步骤S1包括：

S101：通过层次分析法，建立包括离开时长、头部姿态角度、眨眼频率、闭眼时长、打哈欠频率、学习者表情的多源数据对专注度影响的层次结构模型；

S102：根据比较标度，构建判断矩阵；

S103：计算出判断矩阵的特征向量和特征根，以及对特征向量归一化处理，得到相应于多源数据的权重值；

S104：基于预设的期待阈值，对所述判断矩阵进行一致性检验，如果检验结果不符合预期的期待阈值，调整所述判断矩阵的权重。

3.根据权利要求1所述的一种基于多源数据融合的在线教育用专注度评价方法，其特征在于，所述预处理视频信息包括：处理帧图像；

以及，所述步骤S2包括：

S201：通过学习者使用的电子设备，采集学习者的实际视频信息；

S202：基于预设间隔时长在实际视频信息中提取若干张关键帧图像；

S203：对若干张关键帧图像依次进行压缩处理和灰度处理，得到若干张处理帧图像。

4.根据权利要求3所述的一种基于多源数据融合的在线教育用专注度评价方法，其特征在于，所述步骤S3包括：

S301：基于HOG特征结合SVM技术，分别判断若干张处理帧图像中是否存在关于学习者的人脸，如果存在，相应地确定脸部确定帧图像，如果不存在，相应地确定脸部缺失帧图像；

S302：根据脸部缺失帧图像，依据时序规则确定包括连续的若干张脸部缺失帧图像的若干个脸部缺失集合；

S303：依据时序规则，确定每个脸部缺失集合中第一张脸部缺失帧图像与最后一张脸部缺失帧图像之间的时长，得到离开时长数据。

5.根据权利要求4所述的一种基于多源数据融合的在线教育用专注度评价方法，其特征在于，所述步骤S4包括：

S401：通过dlib开源库中HOG与SVM的形状预测器对每张脸部确定帧图像中的人脸2D特征进行检测并且进行相应的标注，得到包括左眉的左角、左眉的右角、右眉的左角、右眉的右角、左眼的左角、左眼的右角、右眼的左角、右眼的右角、鼻子的左角、鼻子的右角、口部的左角、口部的右角、口部中央底角和下巴角的坐标信息的2D特征点；

S402：通过预设的3D人脸模型对2D特征点进行匹配，得到相应于2D特征点的3D特征点，以及基于直接线性变化方法和Levenberg-Marquardt优化方法确定2D特征点与3D特征点之间的对应关系；

S403：根据2D特征点与3D特征点之间的对应关系，求解头部旋转向量，得到头部姿态角度；

所述头部旋转向量的计算公式如下：

式中，

(x,y,z)表示预设三维空间中轴方向的单位向量；θ表示绕轴转过的角度；

ω和ψ表示头部分别围绕x轴、y轴和z轴旋转的角度。