[发明专利]基于改进的Openpose模型和面部微表情的课堂行为检测的方法

权利要求书

1.基于改进的Openpose模型和面部微表情的课堂行为检测的方法，其特征在于：包括如下步骤：

S1、通过放置在测试者前端的设备摄像头拍摄测试者上半身图像，并以一定初始帧率持续拍摄测试者上半身的测试图像；

S2、通过建立的改进的Openpose模型和面部微表情，识别出测试图像的每帧图片的关键点并对其编号、连线；以Openpose所选取的18个关键点为参考，为挑选出上半身中左右眼睛，左右耳朵，鼻子，脖子，左右手腕，左右手肘，左右肩膀共12个关键点进行不同帧照片之间对比比较，在这12个点中除主要躯体连线外，另将左右眼，左右手腕，左右手肘作为主要关键点；

S3、课堂行为检测分成2个主要状态：听课状态、和异常状态；其中异常状态具体划分为：状态1：主要定义为手臂支撑头部、状态2：主要定义为手放在桌子下、状态3：主要定义为转头及状态4：主要定义为低头四个分状态；初始时，系统将会每隔5秒对图像进行对比检测；若关键点间位置关系出现错误或关键点连线之间的距离达到阈值将提高检测频率至每隔1秒进行对比检测；

S4、初始时，系统将会每隔5秒对图像进行对比检测；若关键点信息出现丢失或关键点之间距离超过阈值将提高检测频率至每隔1秒进行对比检测；当关键点位置长时间丢失或关键点距离长时间超过设定阈值时，判定为异常状态即课堂行为异常；

S5、当处于异常状态时，系统将继续对其后20秒的每一秒进行分析，并根据关键点之间连线异常值、关键点丢失等异常情况按各行为判定标准判定为状态1、状态2、状态3或状态4；

S6、异常状态具体判断标准为：状态1：左眼到左手腕间距离或右眼到右手腕间距离小于10像素同时满足手腕高度小于眼睛高度；状态2：左手或右手手腕关键点信息丢失时判定为状态2；状态3：出现单侧眼睛及耳朵关键点信息长时间缺失时判定为状态3；状态4：左眼和右眼关键点信息丢失或左右眼坐标信息与左右眼初始坐标信息之差大于阈值时判定为状态4；

S7、同时，加入微表情识别予以辅助判断，定义异常表情发呆；初始时，系统将会每隔5秒对图像进行对比检测；若出现异常表情，则将提高检测频率至每隔1秒进行对比检测；当长时间处于异常表情，则判断为异常状态即课堂行为异常；

S8、引入专家控制策略：对学生课堂情况进行分析，对整个教学过程进行非正常情况概率统计，并记录高于设定概率的时间点，并及时在教师端进行反馈；在整个教学过程中，对每个学生非正常次数予以统计，检测初始即对过去出现行为异常频率高的学生进行检测频率的提高；检测过程中，记录高于设定次数同学，提高后续检测频率初始值进行检测识别；并在课后在教师端将次数由多至少进行排列予以体现，从而使老师更好的帮助学生完成学习任务；对教室座位区域进行分析，将教室做以下划分，将教室分为若干个区域，识别频率按图示数值进行等比例放大；分别统计各区域异常状态概率：即某一时刻内该区域出现所有非正常情况人数占该区域总人数比值，并通过数据统计计算，计算数值越大，该区域异常概率越大，次日对该区域检测频率进行相应调整提高；

S9、引入搜索和优化识别策略,遍历状态1到状态4，若某一异常学生出现异常行为确诊，则下一次异常识别中，优先判断是否为状态1，进而提高分析的效率；

S10、在对各学生端信息采集过后，系统将正异常情况信息传输至教师端并进行汇总；并进行信息分类分析，课后由数据结果对教学进行改革和创新。

2.根据权利要求1所述的基于改进的Openpose模型和面部微表情的课堂行为检测的方法，其特征在于：该Openpose模型使用残差网络提取底层特征，以提升改进模型的检测精度和训练速度；该残差网络参照Res-18网络前10层，共构成5个残差块；所构成的残差块为添加了软阈值的残差块；软阈值处理是许多信号降噪算法的基础步骤；如式(1)所示，是软阈值处理公式，其中x是输入值，y是输出值，τ是阈值；