[发明专利]一种基于目标跟踪和姿态检测的教学行为分析方法及装置

说明书

本发明涉及一种基于目标跟踪和姿态检测的教学行为分析方法及装置，方法包括：获取视频流，并进行移动侦测，获取移动目标所在窗口；对窗口内目标进行检测，获取人手及人脸目标；为获取的人手及人脸目标建立多目标跟踪器，并根据人脸目标提取人体位置进行单人姿势识别；根据多目标跟踪器的跟踪结果判断目标行为，根据单人姿势识别结果进行行为分析，并输出。本发明提出了基于移动窗口上的目标识别，包括人脸和手。因为人脸识别的速度大大高于通常的姿态识别，在人脸识别的基础上再做姿态识别，大大提高了效率和准确度。基于目标跟踪的行为分析，比直接基于姿态识别的准确度高。在人脸识别之后的单人姿态识别，姿态识别的准确率也大大提高。

技术领域

本发明涉及图像识别技术领域，具体涉及一种基于目标跟踪和姿态检测的教学行为分析方法及装置。

背景技术

人体行为识别和深度学习是智能视频分析领域的研究热点，近年来得到了学术界及工程界的广泛重视，是智能视频分析与理解、视频监控、人机交互等诸多领域的理论基础。近年来，被广泛关注的深度学习算法已经被成功运用于语音识别、图形识别等各个领域。深度学习理论在静态图像特征提取上取得了卓著成就，并逐步推广至具有时间序列的视频行为识别研究中。

在教育领域中，通过深度学习的方法分析教学现场所拍摄的视频流，识别和记录学生的行为，用以评估教学质量，学生的课堂表现，为后续的教学优化提供直接的指导。

为了分析课堂教学出现的行为，需要通过人脸识别出是哪个学生，还需要跟踪和分析学生的行为，比如在课堂上举手发言，起立回答问题，坐下等动作。目前，比较流行的做法，通过识别并标记身体特点的部位，以了解在不同角度下的姿势表现，再判断可能出现的行为。比如OpenPose，以及最近开源的AlphaPose都是用来获取肢体特征点(关节)。

但是在教学场景下，通常会有几十个学生同时出现画面中，学生的下半身通常被课桌挡住的；而且前后也会出现遮挡的情况。用以上提到的姿势检测来分析学生出现的特别行为，整个画面中的人都会去检测姿态，导致消耗大量的计算资源，没法达到实时的要求，而且容易造成误判。所以无法满足教学场景下的行为分析。

发明内容

本发明针对现有技术中存在的技术问题，提供一种基于目标跟踪和姿态检测的教学行为分析方法及装置。

本发明解决上述技术问题的技术方案如下：

一方面，本发明提供一种基于目标跟踪和姿态检测的教学行为分析方法，包括以下步骤：

步骤1，获取视频流，并进行移动侦测，获取移动目标所在窗口；

步骤2，对窗口内目标进行检测，获取人手及人脸目标；

步骤3，为获取的人手及人脸目标建立多目标跟踪器，并根据人脸目标提取人体位置进行单人姿势识别；

步骤4，根据多目标跟踪器的跟踪结果判断目标行为，根据单人姿势识别结果进行行为分析，并输出。

进一步，所述步骤1还包括，过滤面积小于阈值的窗口，将面积大于阈值的窗口进行拼接。

进一步，所述的将面积大于阈值的窗口进行拼接，包括：

将移动目标所在窗口按照一定比例进行扩展，得到移动目标的有效监测区域；

在整幅视频帧画面内，生成可框选所有所述移动目标的有效监测区域的最小矩形框，非框选区域置黑。

进一步，所述步骤2执行的对窗口内目标进行检测，每间隔指定帧数进行一次目标检测，两次进行目标检测之间，采用步骤3中所建立的多目标跟踪器跟踪目标的移动。

进一步，所述步骤4所述的根据多目标跟踪器的跟踪结果判断目标行为，具体为在下一次进行目标检测之前进行跟踪结果的判断与输出。