[发明专利]基于多模态学习状态分析系统

说明书

本发明涉及数字数据处理领域，具体涉及一种基于多模态学习状态分析系统，包括图像获取模块，用于收集教室内部的图像数据并进行预处理得到处理图像；老师位置信息获取模块，用于基于处理图像和Faster R‑CNN目标检测模型获得老师的位置信息；老师姿态信息获取模块，用于基于处理图像和Faster R‑CNN目标检测模型获得老师的姿态信息；学生面部信息获取模块，用于基于处理图像和ERT人脸特征点检测方法获取学生面部信息；分析模块，用于基于位置信息、姿态信息和学生面部信息分析学习状态。从而可以更好地对学生的上课情况进行监管，以提高学生的学习效率。

技术领域

本发明涉及数字数据处理领域，尤其涉及一种基于多模态学习状态分析系统。

背景技术

在传统课堂教育中，老师通过对学生的面部表情和头部姿态，判断学生对学习状态，但由于老师的精力有限，无法及时观察到每位学生的课堂学习状态情况，进而无法根据每位学生的学习情况调整教学策略。

智慧教学是当前我国教育信息化研究的热词，有学者将其称之为教育信息化发展的新形态、新境界、新阶段，将智慧教学研究提到了相当高的高度。现如今关于学生课堂的学情分析的检测方面，可将检测分为基于人脸识别的方法、基于微表情的识别方法和基于脑电波的检测方法。

采用上述方法由于只有一个变量，使得检测精度较低。

发明内容

本发明的目的在于提供一种基于多模态学习状态分析系统，旨在结合学生的面部表情、老师的位置以及老师的上课语音的数据进行分析，给出可视化的分析结果。可以给出学生专注度的分析，有利于教师制定合适的教学计划，促进老师和学生的课堂交互。

为实现上述目的，本发明提供了一种基于多模态学习状态分析系统，包括图像获取模块、老师位置信息获取模块、老师姿态信息获取模块、学生面部信息获取模块和分析模块，

所述图像获取模块，用于收集教室内部的图像数据并进行预处理得到处理图像；

所述老师位置信息获取模块，用于基于处理图像和Faster R-CNN目标检测模型获得老师的位置信息；

所述老师姿态信息获取模块，用于基于处理图像和Faster R-CNN目标检测模型获得老师的姿态信息；

所述学生面部信息获取模块，用于基于处理图像和ERT人脸特征点检测方法获取学生面部信息；

所述分析模块，用于基于位置信息、姿态信息和学生面部信息分析学习状态。

其中，所述图像获取模块包括获取单元和处理单元，所述获取单元用于收集摄像头的图像数据；

所述处理单元，用于将图像数据的尺寸标准化，并进行归一化处理，得到处理图像。

其中，所述收集摄像头的图像数据的具体方式是，每隔5秒为一帧获取图像。

其中，所述老师位置信息获取模块包括特征图提取单元、候选单元、区域特征图生成单元和老师位置获取单元，

所述特征图提取单元，用于基于处理图像提取原始特征图；

所述候选单元，用于将原始特征图输入到候选框提取网络，生成区域候选框；

所述区域特征图生成单元，用于将区域候选框映射到所述原始特征图中，并池化为区域特征图；

所述老师位置获取单元，用于将区域特征图输入Faster R-CNN目标检测模型中获取老师位置信息。

其中，所述老师姿态信息获取模块包括关键点获取单元和归一化单元，所述关键点获取单元，用于基于Faster R-CNN目标检测模型，获取人体姿态关键点信息；

所述归一化单元，用于基于人体姿态关键点信息进行姿态归一化模块处理。