[发明专利]基于人体骨架的学生学习行为识别方法

权利要求书

1.一种基于人体骨架的学生学习行为识别方法，其特征在于，包括以下步骤：

步骤S1:采集教室场景下的学生行为视频，并提取学生行为图像,构建图像数据集；

步骤S2:根据得到图像数据集，采用AlphaPose提取人体骨骼关键点及其坐标和置信度；

步骤S3:根据得到的人体骨骼关键点及其坐标和置信度，依据人体部位进行编码转换为图像，并构建人体运动特征；

步骤S4:搭建神经网络分类器，并基于人体运动特征数据进行训练，将处理后的图像输入到训练好的神经网络分类器中进行分类，得到分类结果。

2.根据权利要求1所述的基于人体骨架的学生学习行为识别方法，其特征在于，所述步骤S1具体为：

步骤S11:利用摄像头采集教室场景下的学生行为视频，提取学生行为图像，对其进行标注作为数据集;

步骤S12:对数据集中图像进行随机角度翻转、裁剪、镜像处理，得到数据增强后的图像数据集。

3.根据权利要求1所述的基于人体骨架的学生学习行为识别方法，其特征在于，所述AlphaPose模型采用RMPE框架，由对称空间变换器网络SSTN、参数姿势非最大抑制PNMS、姿势引导建议发生器PGPG组成。

4.根据权利要求3所述的基于人体骨架的学生学习行为识别方法，其特征在于，所述SSTN由STN，SDTN两部分组成，STN负责接收人体候选框，SDTN产生候选姿态。

5.根据权利要求1所述的基于人体骨架的学生学习行为识别方法，其特征在于，所述步骤S2具体为:

步骤S21:利用ALphaPose检测出视频中的学生;

步骤S22:并根据检测的学生，对其进行人体骨骼点提取，获取人体骨骼点的坐标，所述骨骼关键点及其坐标和置信度为

Person:{0:[x0，y0]，1:[x1，y1]，...， 17:[x17，y17]}

其中Person表示检测到的学生，0-17分别对应鼻子、右眼、左眼、右耳、左耳、右肩、左肩、右肘、左肘、右腕、左腕、右髋、左髋、右膝、左膝、右脚踝、左脚踝、颈部，x和y表示骨骼点相对于图片的坐标；

步骤S23:将得到的骨架信息，先将坐标转换为向量，以人体的颈部关节坐标为中心，将其他骨骼点坐标转换为以颈部关节为坐标原点的坐标值，转换公式如下：

其中P_n表示除颈部关节之外的其他骨骼点坐标，P₀表示颈部关节坐标，所得 f 为其他骨骼点以颈部关节为起点的向量；

步骤S24:将向量进行归一化，具体公式如下：

其中，H为图片大小。

6.根据权利要求1所述的基于人体骨架的学生学习行为识别方法，其特征在于，所述步骤S3具体为：

步骤S31:根据得到的人体骨骼关键点数据，在对应的人体躯干两端之间增加一个中点，得到更为精细的人体姿态；

步骤S32:对于处理好的人体骨骼点信息，将向量中x、y值经过处理编码作为 RGB 图像中的红、绿通道值，蓝色通道设置为0或1，编码转换方式为先将骨骼点坐标归一化为从0到1的连续范围内的值，再将其乘以255,得到对应的像素值；

步骤S33:根据得到的对应像素值，并按照人体部位的位置进行排列，依次将头部、身体、腿部分别加入分配矩阵中；

步骤S34:根据不同行为类别构建不同的图像，并最终得到编码转换后的图像，作为人体运动特征。

7.根据权利要求1所述的基于人体骨架的学生学习行为识别方法，其特征在于，搭建神经网络分类器，主要包括三层的卷积对处理完的图片进行卷积提取特征、紧接着批量归一层对数据按批进行归一化，然后通过线性整流层和三层全连接进行分类，并利用交叉熵损失函数计算损失，将处理得到的图像输入到神经网络分类器进行训练，得到神经网络分类器。