[发明专利]一种课堂行为检测方法、系统、装置和存储介质

说明书

本发明公开了一种课堂行为检测方法、系统、装置和存储介质，其中方法包括：获取待处理的图像集，采用预设算法预处理图像集，以获取预设比例的正/负样本图像；对获得的正/负样本图像进行特征提取，以生成正/负样本特征图；对获得的正/负样本特征图进行分类处理后，生成正/负样本预测框；结合损失函数和预设真实框集对正/负样本预测框进行匹配，并在匹配成功后，输出检测结果。实现了对课堂行为的准确识别，提升了目标行为的检测精度以及时效性，降低了对硬件设置的依赖，结果简单，易于制作训练集，有利于基于深度学习的目标检测算法在教学领域的进一步推广应用。可广泛的应用于计算机视觉处理技术领域。

技术领域

本发明涉及计算机视觉处理技术领域，尤其涉及一种课堂行为检测方法、系统、装置和存储介质。

背景技术

术语解释：

单步(One Stage)目标检测算法：基于回归的检测算法。

双步(Two Stage)目标检测算法：基于区域候选的检测算法。

NMS(Non-Maximum Suppression)：非极大值抑制算法。

双流(Two-Stream)：视频中的行为检测算法。

OHEM(online hard example mining)：在线难分样本挖掘算法。

近年来，基于深度学习的目标检测技术领域随着人工智能的快速发展已经取得了很大的突破，这其中基于目标检测的单步目标检测算法和双步目标检测算法均经历了一个快速发展的过程，如双步目标检测算法从R-CNN到Fast R-CNN，再从Fast R-CNN到R-FCN，单步检测算法则是以SSD、YOLO等为代表；这些目标检测算法具有较好的精度和实时性能，因此基于深度学习的目标检测算法在各应用领域得到了广泛的应用如人脸检测、行人检测以及车牌识别等。

基于深度学习的检测算法在教学领域同样有着很大的应用前景与价值。目前基于深度学习的检测算法教室环境下对学生行为检测应用方式主要有两种方式：一是采用双流算法和3D卷积的方法进行研究；二是利用现有单双步目标检测算法对学生的行为进行检测以及位置定位和识别；但是基于双流和3D卷积的方法存在以下不足：计算复杂难以实现预期效果、对硬件性能要求较高、训练数据集制作困难，精确度低；单独基于单步或双步检测方法难易兼顾高精确度和快实时性的要求；此外以上各种检测方式由于没有对数据集优化处理，直接通过录播设备捕捉学生的动作信息，然后输入检测网络进行定位和预测，难以保证检测的准确性。

发明内容

本发明旨在解决上述相关技术中的技术问题之一，本发明的目的是提供一种对课堂行为检测方法、系统、装置和存储介质，实现对课堂行为识别满足高精确度和快实时性的需求。

本发明所采用的第一技术方案是：

一种课堂行为检测方法，包括以下步骤：

获取待处理的图像集，采用预设算法预处理图像集，以获取预设比例的正/负样本图像；

对获得的正/负样本图像进行特征提取，以生成正/负样本特征图；

对获得的正/负样本特征图进行分类处理后，生成正/负样本预测框；

结合损失函数和预设真实框集对正/负样本预测框进行匹配，并在匹配成功后，输出检测结果。

进一步，所述获取待处理的图像集，采用预设算法处理图像集，以获取预设比例的正/负样本图像这一步骤，具体包括以下步骤：

获取待处理的图像集；

采用预设算法对待处理的图像集进行前景像素交并比匹配，以获取多个正样本图像；

采用预设算法对待处理的图像集进行背景像素置信度匹配，以获取多个待处理负样本图像；