[发明专利]基于行为识别的学生课堂行为分析的监控方法及系统

说明书

本发明公开了基于行为识别的学生课堂行为分析的监控方法，包括采集人体行为的视频信息以及人体骨架图关键点的深度信息；将采集到的图像通过姿势识别算法提取到学生行为骨架图；通过图卷积神经网络对骨架图进行特征提取，给定身体关节的2D或者3D形式的坐标的序列，构造了一个以关节为节点，以人体结构和时间为边的自然连通的时空图；在卷积过程中，根据人体关节和骨骼之间的运动相关性，将骨骼数据表示为有向图，提取关节、骨骼及其相互关系的信息，并根据提取的特征进行预测，并反馈给教师。本发明能够对课堂的学生一系列学习行为进行分析，减轻课堂负担。此外，本发明还公开了基于行为识别的学生课堂行为分析的监控系统。

技术领域

本发明属于人体行为识别的技术领域，具体涉及基于行为识别的学生课堂行为分析的监控方法。

背景技术

人体行为识别目的是从视频中分析和理解个体的行为以及多个个体之间的交互行为。人体行为识别技术广泛应用在诸多领域，例如安防监控系统、智能医疗监护系统、人机交互系统等等，在教育领域的应用并不常见，但这不代表行为识别技术在教育方面有适用性的不足。反而，随着如今信息数字化的飞速发展，人体行为识别技术在教育领域有着广阔的发展前景。

课堂教学在如今的教育教学中占有举足轻重的地位，而学生在课堂上的行为表现是课堂教学评价的主要组成部分，对教学质量有着极大的影响。在传统的课堂教学中，教师获取课堂反馈的方式耗时耗力，一种是通过课堂上观察学生的课堂行为，或者通过课后观看课堂录像，还有一种是通过学生的课后作业了解学生课堂的学习情况。这样教师既要兼顾课堂教学内容的质量，同时还要监督学生课堂是否认真听讲，如此会耗费教师大量的时间和精力，导致教师筋疲力尽，无法保证课堂教学质量，且教师无法每时每刻关注到每一位学生的听课情况。

目前针对课堂场景的人工智能技术主要应用在表情和语音识别方面，对人体行为方面的识别较少，更多的是存在一些利用穿戴式设备对人体动作进行识别。而这些设备会对学生的学习情况有一定的干扰，使得收集到的数据与真实课堂数据有一定误差，导致识别结果不准确。然而因为学生在课堂上的行为多种多样，且背景复杂，学生行为识别结果容易受到一些无关的因素影响，例如光照、衣着、摄像机视点等等，如若没有大量的数据进行支撑学习，很难准确识别学生行为。目前市面上使用广泛的监控系统仅仅只包含监控的作用，需要教学人员课后自行查看才能了解学生的课堂行为，无法在课堂上进行持续性的观察与监督。

发明内容

本发明的目的之一在于：针对现有技术的不足，提供基于行为识别的学生课堂行为分析的监控方法，能够对课堂的学生一系列学习行为进行分析，从而对课堂的学生参与情况以及活跃程度等等进行反馈评价，让教师更加直观的了解到课堂的学生听课情况，帮助教师调整教学策略、改进教学方式，减轻课堂负担。

为了实现上述目的，本发明采用如下技术方案：

基于行为识别的学生课堂行为分析的监控方法，包括：

采集人体行为的视频信息以及人体骨架图关键点的深度信息；

将采集到的图像通过姿势识别算法提取到学生行为骨架图；

通过图卷积神经网络对骨架图进行特征提取，给定身体关节的2D或者3D形式的坐标的序列，构造了一个以关节为节点，以人体结构和时间为边的自然连通的时空图；

在卷积过程中，根据人体关节和骨骼之间的运动相关性，将骨骼数据表示为有向图，提取关节、骨骼及其相互关系的信息，并根据提取的特征进行预测，然后对分析数据进行存储，并反馈给教师。

作为本发明所述的基于行为识别的学生课堂行为分析的监控方法的一种改进，采集人体行为的设备包括深度相机和监控摄像机，所述深度相机和所述监控摄像机悬挂在教室天花板的前后左右四个方向。

作为本发明所述的基于行为识别的学生课堂行为分析的监控方法的一种改进，所述姿势识别算法为OpenPose姿势识别算法，所述深度相机为Kinect深度相机。