[发明专利]基于人体骨架的学生学习行为识别方法

说明书

本发明涉及一种基于人体骨架的学生学习行为识别方法，包括以下步骤：步骤S1:采集教室场景下的学生行为视频，并提取学生行为图像,构建图像数据集；步骤S2:根据得到图像数据集，采用AlphaPose提取人体骨骼关键点及其坐标和置信度；步骤S3:根据得到的人体骨骼关键点及其坐标和置信度，对人体骨骼关键点进行预处理，并依据人体部位进行编码转换为图像，并构建人体运动特征；步骤S4:将处理后的图像输入到神经网络分类器中进行分类，得到分类结果。本发明能够有效地对学生行为进行识别。

技术领域

本发明涉及模式识别与计算机视觉领域，特别是一种基于人体骨架的学生学习行为识别方法。

背景技术

教室是老师授课、学生获取知识的主要场所，学生在课堂上的学习状态学习行为、老师的洞察能力关乎学生学习的效果以及课堂的教学质量。学校一堂课多则上百学生听课，加以教室课堂场景十分复杂，如今大、中、小学，除了传统排排坐的课堂，还增加互动课堂，如圆桌讨论等，学生数量众多，同一动作行为有多种表现方式，而老师在授课时难以同时顾及到所有同学的学习状态，学生表现无法及时反馈，教学质量难以评估。针对以上问题的研究，对教师提高教学质量以及学生改进学习行为有着重要的意义，对当下课堂教学质量分析和反馈有重要应用价值。

人体动作识别虽然已经运用到智能监控、医疗等众多场合中，而针对教学场景中的人体动作识别的相关研究工作还相对较少，且和我们目标中 实时、高效、准确地分析出人体行为仍有一段距离。而为缩短这段距离，我们还面临者许多问题，如摄像头角度固定、人群肢体交叉难以分辨等，主要概括为以下几点、动作差异、视角差异、执行效率。

发明内容

有鉴于此，本发明的目的在于提供一种基于人体骨架的学生学习行为识别方法，能够有效地对学生行为进行识别。

为实现上述目的，本发明采用如下技术方案：

一种基于人体骨架的学生学习行为识别方法，包括以下步骤：

步骤S1:采集教室场景下的学生行为视频，并提取学生行为图像,构建图像数据集；

步骤S2:根据得到图像数据集，采用AlphaPose提取人体骨骼关键点及其坐标和置信度；

步骤S3:根据得到的人体骨骼关键点及其坐标和置信度，依据人体部位进行编码转换为图像，并构建人体运动特征；

步骤S4:搭建神经网络分类器，并基于人体运动特征数据进行训练，最终将处理后的图像输入到训练好的神经网络分类器中进行分类，得到分类结果。

进一步的，所述步骤S1具体为：

步骤S11:利用摄像头采集教室场景下的学生行为视频，提取学生行为图像，对其进行标注作为数据集;

步骤S12:对数据集中图像进行随机角度翻转、裁剪、镜像处理，得到数据增强后的图像数据集。

进一步的，所述AlphaPose模型采用RMPE框架，由对称空间变换器网络SSTN、参数姿势非最大抑制PNMS、姿势引导建议发生器PGPG组成。

进一步的，所述SSTN由STN，SDTN两部分组成，STN负责接收人体候选框，SDTN产生候选姿态。

进一步的，所述步骤S2具体为:

步骤S21:利用ALphaPose检测出视频中的学生;

步骤S22:并根据检测的学生，对其进行人体骨骼点提取，获取人体骨骼点的坐标，所述骨骼关键点及其坐标和置信度为

Person:{0:[x0，y0]，1:[x1，y1]，...， 17:[x17，y17]}