[发明专利]一种基于多源信息融合的网络学习注意力监测方法及系统

权利要求书

1.一种基于多源信息融合的网络学习注意力监测方法，其特征在于，所述方法包括以下步骤：

S1：采集学习视频数据和脑电波数据；

S2：对所述学习视频数据和所述脑电波数据进行预处理；根据预处理后的学习视频数据进行人眼视线估计，得到人眼视线定位信息；根据预处理后的脑电波数据提取脑电特征；

S3：将所述人眼视线定位信息和所述脑电特征输入时序预测模型，进行学习注意力监测。

2.根据权利要求1所述的方法，其特征在于，所述对学习视频数据和脑电波数据进行预处理，包括：

按照采样周期T对所述学习视频数据进行采样，获得学习序列图片；按照采样周期T对脑电波数据的波形数据进行分段。

3.根据权利要求2所述的方法，其特征在于，所述根据预处理后的学习视频数据进行人眼视线估计，得到人眼视线定位信息，包括：

对学习序列图片进行人脸识别和矫正，对矫正后的图像进行深度CNN网络H₁的多次卷积操作得到学习者人眼特征；对矫正后的图像经过深度CNN网络H₂的多次卷积操作得到学习者头部姿态定位特征，再将所述头部姿态定位特征送到分类回归网络，得到头部姿态信息；

利用特征拼接的方式融合所述人眼特征和所述头部姿态信息，得到人眼视线定位信息。

4.根据权利要求1所述的方法，其特征在于，所述时序预测模型为基于视线-脑电模态门控的LSTM预测模型；所述进行学习注意力监测，包括：

对每个时刻输入的脑电特征和人眼视线定位信息进行模态门操作，给不同模态的特征赋予不同的动态权重，实现脑电特征与人眼视线定位信息的动态融合，将动态融合结果输入到LSTM预测模型中；

所述LSTM预测模型根据网络学习注意力监测的应用场景输出相应的预测结果，所述应用场景包括回归和分类，相应的预测结果包括学习注意力数值和学习注意力的类别。

5.根据权利要求1所述的方法，其特征在于，根据所述时序预测模型的预测结果和预设的阈值，确定是否通过学习终端进行学习注意力阶段性反馈。

6.一种基于多源信息融合的网络学习注意力监测系统，其特征在于，所述系统包括：

采集模块，用于采集学习视频数据和脑电波数据；

处理模块，用于对所述学习视频数据和所述脑电波数据进行预处理；根据预处理后的学习视频数据进行人眼视线估计，得到人眼视线定位信息；根据预处理后的脑电波数据提取脑电特征；

监测模块，用于将所述人眼视线定位信息和所述脑电特征输入时序预测模型，进行学习注意力监测。

7.根据权利要求6所述的系统，其特征在于，所述对学习视频数据和脑电波数据进行预处理，包括：

按照采样周期T对所述学习视频数据进行采样，获得学习序列图片；按照采样周期T对脑电波数据的波形数据进行分段。

8.根据权利要求7所述的系统，其特征在于，所述根据预处理后的学习视频数据进行人眼视线估计，得到人眼视线定位信息，包括：

对学习序列图片进行人脸识别和矫正，对矫正后的图像进行深度CNN网络H₁的多次卷积操作得到学习者人眼特征；对矫正后的图像经过深度CNN网络H₂的多次卷积操作得到学习者头部姿态定位特征，再将所述头部姿态定位特征送到分类回归网络，得到头部姿态信息；

利用特征拼接的方式融合所述人眼特征和所述头部姿态信息，得到人眼视线定位信息。