[发明专利]基于眼动和人脸表情范式的学生学习状态评估系统及方法

权利要求书

1.一种基于眼动和人脸表情范式的学生学习状态评估系统，其特征在于：包括任务呈现模块、眼动数据采集装置、人脸表情采集装置、分析融合模块以及学习状态评估模块；

所述任务呈现模块用于在显示屏上呈现学习状态测试实验的任务；所述学习状态测试实验包括推理能力测试实验、情绪状态测试实验、专注状态测试实验；

所述眼动数据采集装置包括朝向学生脸部的眼动追踪仪，用于采集学生在实验过程中的眼动数据；

所述人脸表情采集装置包括朝向学生脸部的摄像头，用于采集学生在实验过程中的人脸图像数据；

所述分析融合模块包括眼动数据分析单元、人脸表情分析单元、眼动和表情融合单元；

所述眼动数据分析单元根据采集到的眼动数据统计分析得到推理能力测试实验、情绪状态测试实验、专注状态测试实验的眼动指标；

所述人脸表情分析单元通过依次进行：a)预处理：将采集到的人脸图像进行人脸对齐，再将对齐后的人脸图像通过warp统一变成128×128像素大小；b)基本特征学习：使用卷积神经网络ResNet50作为特征提取器，对步骤a)处理后的人脸图像进行人脸表情特征提取，得到基本特征图F；c)局部注意力特征提取：将步骤b)得到的基本特征图F与通道数为M的1×1卷积核进行卷积，得到M个局部注意力掩模A，每个局部注意力掩模A关注一个特定的显著性人脸区域，将每个局部注意力掩模A与基本特征图F进行对应元素相乘，得到相应的局部注意力特征图F_A；d)全局注意力特征提取：将M个局部注意力掩模A通过通道方向的最大池化得到全局注意力掩模A_O，再将全局注意力掩模A_O与基本特征图F进行对应元素相乘，得到全局显著性特征图F_sal；e)关联注意力特征提取：e.1)将步骤d)得到的全局显著性特征图F_sal拉平为一个二维矩阵使用1×1卷积核与二维矩阵进行卷积，得到空间θ、g和h上的注意力掩膜W_θ、W_g和W_h；再将空间θ、和g上的注意力掩膜W_θ、和W_g分别与二维矩阵进行对应元素相乘，得到三个全局注意力图θ(x)、和g(x)；e.2)计算θ(x)和的点积，将点积结果输入到softmax激活函数以提取不同特征点的相关性γ，再将γ与g(x)进行加权求和得到结果为z，然后使用跳层连接空间h上的注意力掩膜W_h，将全局显著性特征图F_sal累加到W_h*z上，得到全局关联特征图F_S；f)特征融合：f.1)对所有的局部注意力特征图F_A和全局关联特征图F_S分别进行全局平均池化操作，得到M+1个注意力特征向量v；f.2)将M+1个注意力特征向量v送入M+1个平行的全连接层进行进一步特征提取，得到M+1个注意力向量r；f.3)将M+1个注意力向量r通过最大池化得到单个的特征表示向量ω,单个的特征表示向量ω再通过全连接层和softmax分类器进行分类，训练得到人脸表情识别模型；g)损失函数优化：g.1)将每个局部注意力掩模A归一化，对归一化后的局部注意力掩模通过最大池化操作，得到每个局部注意力掩模的最大值图；g.2)计算理想情况下所有局部注意力掩模最大值图的和与实际情况下所有局部注意力掩膜最大值图的和的差值，得到局部注意力特征图F_A的约束项L_reg；g.3)根据下式计算人脸表情识别模型的整体损失函数L，完成模型优化；L＝L_cls+αL_reg；其中，L_cls是一个标准的交叉熵损失函数；α为局部注意力特征图F_A约束项的参数；h)将采集到的未知类型人脸图像数据输入到优化后的人脸表情识别模型中，对表情分类；并统计分析得到推理能力测试实验、情绪状态测试实验、专注状态测试实验的表情指标；

所述眼动和表情融合单元用于将推理能力测试实验的眼动指标和表情指标、情绪状态测试实验的眼动指标和表情指标、专注状态测试实验的眼动指标和表情指标分别融合为一个空间特征向量，并通过决策树对空间特征向量进行分类计算，得到推理能力、情绪状态、专注状态三方面的评估结果；

所述学习状态评估模块根据推理能力、情绪状态、专注状态三方面的评估结果，按照重要程度加权求得学生的学习状态评估分数。