[发明专利]基于改进的Openpose模型和面部微表情的课堂行为检测的方法

说明书

本发明公开了基于改进的Openpose模型和面部微表情的课堂行为检测的方法，在课桌前的布置摄像机，实时检测学生课堂行为。通过人工智能模型识别面部信息、上半身骨骼信息，以关键点能否被识别到以及关键点之间的距离为主要判断条件，以微表情的变化为辅助判断条件。若某学生持续一段时间未满足条件，则判定其存在考试行为异常。此外，通过一节课的视频流，找出学生行为异常可能发生阶段，并对该阶段进行分析，实现教学的创新和改革。靠机器视觉识别减少干扰因素，简化设备，同时本发明还提供对应的数据分析处理系统。本发明通过残差网络，权值修剪等方法进一步优化网络模型。本发明实现自助式的课堂行为检测和反馈，测试效率高，准确性可达95％。

技术领域

本发明涉及深度学习、机器视觉与图像处理技术领域，具体为基于改进的Openpose模型和面部微表情的课堂行为检测的方法。

背景技术

近些年，以深度学习为代表的智能技术已渗入人们生活的各种领域，并已进入大范围应用阶段。2017年，国务院在印发的《新一代人工智能发展规划》中提出：“利用智能技术加快推动人才培养模式、教学方法改革，构建包含智能学习、交互式学习的新型教育体系。”

长期以来，课堂一直是教育研究的重点。而学生作为教学活动的主体，其行为直接反应了课堂的真实状况。因此，课堂学生行为分析能够对教学效率与学生状态有更深层的体现。

在对于学生课堂行为分析的准确性、适用性、抗干扰性以及能够及时反馈学生信息的要求下，目前尚未有具有良好分析体验的方法。在对检测中的项目测试精度越来越高的要求和实现无人化测试需求下，目前已有的课堂行为方法(谭斌,杨书焓.基于FasterR-CNN的学生课堂行为检测算法研究[J].现代计算机(专业版)(33):47-49.)，(廖鹏,刘宸铭,苏航,etal.基于深度学习的学生课堂异常行为检测与分析系统[J].电子世界(8):97-98.)尚不具备良好测试体验，测试效率、准确率、自动化程度仍有待提高。且课堂行为检测方法容易出错，耗费人力，个人评判标准不同影响测试结果。现有的基于机器视觉的分析方法主要是利用卷积神经网络进行图像识别，然而传统的卷积神经网络在课堂行为识别的应用中对于学生行为的识别精度与速度上并不令人满意，并且在课堂行为识别的过程中，获取海量的训练样本也是十分困难。再者，通过对学生的个人历史信息以及对其听课专注度的反馈，对教师的教授质量以及课堂效率进行评估，也是目前尚待开发的方面。

发明内容

本发明的目的在于提供基于改进的Openpose模型和面部微表情的课堂行为检测的方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：基于改进的Openpose模型和面部微表情的课堂行为检测的方法，包括如下步骤：

S1、通过放置在测试者前端的设备摄像头拍摄测试者上半身图像，并以一定初始帧率持续拍摄测试者上半身的测试图像；

S2、通过建立的改进的Openpose模型和面部微表情，识别出测试图像的每帧图片的关键点并对其编号、连线；以Openpose所选取的18个关键点为参考，为挑选出上半身中左右眼睛，左右耳朵，鼻子，脖子，左右手腕，左右手肘，左右肩膀共12个关键点进行不同帧照片之间对比比较，在这12个点中除主要躯体连线外，另将左右眼，左右手腕，左右手肘作为主要关键点；

S3、课堂行为检测分成2个主要状态：听课状态、和异常状态。其中异常状态具体划分为：状态1：主要定义为手臂支撑头部、状态2：主要定义为手放在桌子下、状态3：主要定义为转头及状态4：主要定义为低头四个分状态；初始时，系统将会每隔5秒对图像进行对比检测；若关键点间位置关系出现错误或关键点连线之间的距离达到阈值将提高检测频率至每隔1秒进行对比检测；

S4、初始时，系统将会每隔5秒对图像进行对比检测；若关键点信息出现丢失或关键点之间距离超过阈值将提高检测频率至每隔1秒进行对比检测；当关键点位置长时间丢失或关键点距离长时间超过设定阈值时，判定为异常状态即课堂行为异常；