[发明专利]基于多模态学习状态分析系统

权利要求书

1.一种基于多模态学习状态分析系统，其特征在于，

包括图像获取模块、老师位置信息获取模块、老师姿态信息获取模块、学生面部信息获取模块和分析模块，

所述图像获取模块，用于收集教室内部的图像数据并进行预处理得到处理图像；

所述老师位置信息获取模块，用于基于处理图像和Faster R-CNN目标检测模型获得老师的位置信息；

所述老师姿态信息获取模块，用于基于处理图像和Faster R-CNN目标检测模型获得老师的姿态信息；

所述学生面部信息获取模块，用于基于处理图像和ERT人脸特征点检测方法获取学生面部信息；

所述分析模块，用于基于位置信息、姿态信息和学生面部信息分析学习状态。

2.如权利要求1所述的一种基于多模态学习状态分析系统，其特征在于，

所述图像获取模块包括获取单元和处理单元，所述获取单元用于收集摄像头的图像数据；

所述处理单元，用于将图像数据的尺寸标准化，并进行归一化处理，得到处理图像。

3.如权利要求2所述的一种基于多模态学习状态分析系统，其特征在于，所述收集摄像头的图像数据的具体方式是，每隔5秒为一帧获取图像。

4.如权利要求1所述的一种基于多模态学习状态分析系统，其特征在于，

所述老师位置信息获取模块包括特征图提取单元、候选单元、区域特征图生成单元和老师位置获取单元，

所述特征图提取单元，用于基于处理图像提取原始特征图；

所述候选单元，用于将原始特征图输入到候选框提取网络，生成区域候选框；

所述区域特征图生成单元，用于将区域候选框映射到所述原始特征图中，并池化为区域特征图；

所述老师位置获取单元，用于将区域特征图输入Faster R-CNN目标检测模型中获取老师位置信息。

5.如权利要求4所述的一种基于多模态学习状态分析系统，其特征在于，

所述老师姿态信息获取模块包括关键点获取单元和归一化单元，所述关键点获取单元，用于基于Faster R-CNN目标检测模型，获取人体姿态关键点信息；

所述归一化单元，用于基于人体姿态关键点信息进行姿态归一化模块处理。

6.如权利要求1所述的一种基于多模态学习状态分析系统，其特征在于，

所述基于位置信息、姿态信息和学生面部信息分析学习状态的具体步骤是：

构建并训练基于全连接层的多模态特征融合网络结构；

将位置信息、姿态信息和学生面部信息映射到特征融合空间进行学习状态分析。

7.如权利要求1所述的一种基于多模态学习状态分析系统，其特征在于，

所述基于位置信息、姿态信息和学生面部信息分析学习状态的具体步骤是：

采用加权融合方法融合位置信息、姿态信息和学生面部信息得到加权融合特征；

将加权融合特征输入全连接层；

获得加权融合特征的分类概率分布。