[发明专利]一种学生课堂行为识别系统、方法、介质及终端设备

权利要求书

1.一种学生课堂行为识别方法，其特征在于：具体包括以下步骤：

步骤S1：图像获取与分类，并构建数据集；

步骤S2：将数据集按照比例分为训练集、验证集和测试集，并对图像进行预处理；

步骤S3：通过数据扩容的方式扩大训练集；

步骤S4：使用在ImageNet数据集上训练好的ResNet50网络结构作为预训练模型对数据扩容后的训练集进行训练，根据验证集的验证结果对网络参数进行微调，训练得到的分类模型用于后期学生图像行为识别；

步骤S5：利用训练好的分类模型对测试集进行测试，观察图像分类情况与实际情况之间的差异，得到模型的分类效果，保存分类结果。

2.根据权利要求1所述的一种学生课堂行为识别方法，其特征在于：所述步骤S1具体是指：将所述学生课堂行为视频划分为N个视频段，并从各个视频段中分别抽取一帧图像作为输入图像并构建数据集，N为大于1的整数。

3.根据权利要求2所述的一种学生课堂行为识别方法，其特征在于：所述步骤S2中的对图像进行预处理包括以下步骤：

步骤S21：利用Yolo v3检测算法获取图像中学生的位置信息；

步骤S22：根据学生的位置信息利用Opencv裁剪学生图像，并将图像统一缩放。

4.根据权利要求3所述的一种学生课堂行为识别方法，其特征在于：所述步骤S21具体包括以下步骤：

步骤S211：将训练集中的图像输送到Yolo v3检测框架中，Yolo v3检测框架将图像分割为S*S个网格，每个网格负责该网格区域内的物体检测，且输出该网格的目标物体类别；

步骤S212：定义训练标签，对每个网格定义向量，则：

（1）；

其中，表示是否含有目标对象；

表示目标物体的中点；

分别表示边界框的高和宽；

依次表示是否含有训练集中第1到第n类的目标对象；

步骤213：通过卷积神经网络中的前向操作提取每个网格中的特征，并定位算法与分类技术识别每个网格，输出每个网格中目标对象图像的左上角坐标以及裁剪框的宽与高；

步骤S214：组合S*S网格标签以获得目标输出。

5.根据权利要求4所述的一种学生课堂行为识别方法，其特征在于：所述步骤S3中数据扩容的方式包括仿射变化、翻转变化、平移变换、尺度变换、对比度变换、噪声扰动、灰度值设置为零、设置部分像素值为零、中值模糊、均值模糊以及颜色变化；

具体是指：对训练集进行增弧；即利用已有的数据空间坐标变换关系得到更多数据；

所述空间坐标变换如下：

； （2）

其中，是原图像中像素的坐标，是变换后图像中像素的坐标；T为仿射变换矩阵。

6.一种基于深度学习的学生课堂行为识别系统，其特征在于：包括：

图像获取模块，用于获取学生课堂行为视频；

图像抽取模块：将所述学生课堂行为视频划分为N个视频段，并从各个视频段中分别抽取一帧图像作为输入图像，N为大于1的整数；

图像处理模块，用于图像的缩放裁剪、训练集的扩大处理；

训练模块：对数据扩容后的训练集进行训练，根据验证集的验证结果对网络参数进行微调，训练得到的分类模型用于后期学生图像行为识别；

行为识别模块，用于观察图像分类情况与实际情况之间的差异，得到模型的分类效果，保存分类结果。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，其特征在于：所述计算机可读指令被处理器执行时实现如权利要求1至5中任一项所述的学生课堂行为识别方法的步骤。

8.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于：所述处理器执行所述计算机可读指令时实现如权利要求1至5中任一项所述的学生课堂行为识别方法的步骤。