[发明专利]一种基于眼动测量的视频学习中的情感识别方法

权利要求书

1.一种基于眼动测量的视频学习中的情感识别方法，其特征在于，所述方法包括：

步骤1：准备自行采集数据；

步骤2：自行采集数据，需要对采集到的眼动数据进行预处理，所述预处理包括：数据清洗、数据标注和数据归一化；

步骤3：将标准数据集或预处理后的采集数据集划分为训练集和测试集，划分比例分别为80％，20％；

步骤4：将预处理好的数据集的眼动数据转换为UTF-8格式文本，构造不同时间窗口数据集5秒、10秒和15秒事件值；

步骤5：根据步骤4得到的不同大小的数据集，将数据集作为输入，选择带有高斯核的支持向量机方法眼动数据进行学习；

步骤6：在网络超参数不变的前提下，将训练集中的数据分批进行多轮训练，以调整网络参数，直到达到最大迭代次数或满足提前截止条件；

步骤7：使用步骤6的超参数训练得到的网络在测试集上运行，得到最终的分类精度指标。

2.如权利要求1所述的视频学习中的情感识别方法，其特征在于，步骤2具体包括：

整个眼动数据采集实验过程:在实验进行前，要求被试者进行知识问卷测试，测量被试者的先前知识，其内容与实验材料内容相关，然后对被试者进行眼部校准，以检查被试者是否作为合格被试者，在学习视频前需要观看注视点，即出现在屏幕正中的十字准星，时长为180s,加入注视点后可以获得眼动的数据的基线值，被试者在计算机屏幕上观看播放的教学视频，在视频播放结束后，被试会有短暂的休息并完成后测检验，再进行第二个视频的观看，整个试验结束后，由实验人员为被试者讲解标注模型，确保被试者完全理解上述模型后，让被试者观看回顾视频，包括教学视频及被试本人观看教学视频时的录像，由被试回顾当时产生的情感状态划分事件，并根据分类情感模型中的正向和负向情感词选择自己当时所处的情感状态，对两个视频进行标注；

数据采集实验中的情感状态采用“暗示回顾”法和被试主观报告方式获取，即被试者观看学习视频后，回放学习视频及同步录制的被试者面部表情视频，刺激被试者回忆当时的情感状态，将同步视频分割成事件片段，并从情感分类模型中的情感词集中选择自己的情感状态，有正向情感状态和负向情感状态，正向的情感状态包括快乐、兴趣和流状态；负向的情感状态包括无聊、困惑、沮丧和走神，其中，“流状态”是指学习过程中学习者的能力与学习任务难度相匹配的情况下出现的一种情感状态，学习者对学习任务不会感到过于轻松也不会产生强烈的畏难情绪；

数据预处理：去掉实验过程中视线跟踪丢失的被试的眼动数据，将获取的数据按不同步长划分数据，最后保留的眼动特征包括左右眼瞳孔直径，注视，眼跳，眨眼数据和眼动角速度，将所有被试数据加上情感属性标签‘label’，将量表所标注得的正向情感状态标为‘1’，标注负向情感状态标为‘0’；

对于眼动信号预处理，主要是移除实验过程中被试者眼动数据异常值，消除采集过程中产生的噪声，在本文的研究中，对眼动信号进行归一化操作，以消除个体差异带来的影响，归一化公式(7)如下：X^*为归一化后的值，x为样本值，X_min为样本中的最小值，X_max为样本中的最大值；

根据研究目的选择合适有效的眼动指标是非常重要的，否则研究过程中有价值的数据信息就会丢失，在眼动分析中，单一的指标不可能具有研究价值，因此应根据研究的需要选择不同的指标进行分析，本实验选取的眼动指标主要包括以下四类：注视、眼跳、眨眼和瞳孔直径。

3.如权利要求1所述的视频学习中的情感识别方法，其特征在于，步骤5具体包括：

S51：使用支持向量机对眼动数据进行学习分类，其目标为找到一个超平面，实现对情感正负两类数据的最优分类超平面，所求超平面L可以表示为：

w^Tx+b＝0 (1)

其中w为超平面的法向量，b为超平面的偏移量，找到满足要求的超平面，等价于解决最优化问题：

s.t.y_i(w^Tx_i+b)≥1 i＝1,2,3,...,m

该优化问题是一个典型的凸二次规划问题，使用拉格朗日乘子法优化进行求解计算；

S52：本数据为非线性可分数据，无法直接找到一个超平面对情感状态进行分类，因此，需要对原始数据样本进行映射，将其映射到一个更高维度的样本空间；

S53：选择高斯核对线性不可分数据映射到高维度空间，高斯核表达式为：

S54：使用上述算法对眼动信息数据进行训练，得到相应情感分类模型。