[发明专利]一种基于改进的Openpose模型和面部微表情的考试行为检测方法

权利要求书

1.一种基于改进的Openpose模型和面部微表情的考试行为检测方法，其特征在于：包括以下步骤：

S1、通过放置在测试者前端的设备摄像头拍摄测试者上半身图像，并以一定初始帧率持续拍摄测试者上半身的测试图像；

S2、通过建立的改进的Openpose模型和面部微表情，识别出测试图像的每帧图片的关键点并对其编号、连线；以Openpose所选取的18个关键点为参考，为了使识别更加简便，挑选出上半身中左右眼睛，左右耳朵，鼻子，脖子，左右手腕，左右手肘，左右肩膀共12个关键点进行不同帧照片之间对比比较，在这12个点中除主要躯体连线外，另定义异常表情：当短时间内存在揉鼻子，抿嘴，摸脖子一种或多种动作时定义为异常表情；

S3、考场异常行为检测分成2个主要状态：正常状态和异常状态；其中异常状态具体划分为：状态1：主要定义为手部信息超出规定区域；状态2：主要定义为手放在桌子下；状态3：主要定义为左右张望；状态4：主要定义为频繁抬头四个分状态；以一般情况为例，初始时，系统将会每隔5秒对图像进行对比检测，若各连线数值未达到异常情况将判定为正常考试状态，若关键点间位置关系出现错误、关键点连线之间的距离达到阈值，或识别出规定微表情时将提高检测频率至每隔1秒进行对比检测；

S4、根据识别出的关键点连线图像，当初次发现某帧图像中关键点位置关系或关键点连线距离达到预设的阈值时，将该帧设置为起始帧，此后提高检测频率；初始时，系统将会每隔5秒对图像进行对比检测；若指定关键点出现丢失、相关数值达到阈值或出现异常表情时将提高检测频率至每隔1秒进行对比检测；当关键点位置长时间丢失或关键点连线距离超过设定阈值时，判定为异常状态；

S5、当检测到异常状态，系统将继续对后20秒的每一秒进行分析，并根据关键点之间连线异常值、关键点丢失，微表情等异常信息按各行为判定标准判定为状态1、状态2、状态3或状态4；

S6、异常状态具体判断标准为：状态1：如有关键点超出规定空间则判断为状态1；状态2：左手或右手手腕关键点信息丢失时判定为状态2；状态3：出现单侧眼睛及耳朵关键点信息长时间缺失时判定为状态3；状态4：短时间内多次检测到左眼和右眼关键点信息超过预设阈值时判定为状态4；

S7.引入专家控制策略：对学生日常考场纪律情况进行分析，对整个考试过程进行多次检测分析，并进行分区域异常情况概率统计；根据经验将教室划分为多个区域，并得到以下策略：各区域识别频率按照比例增加；从而达到：优化检测效果，减少运算次数的效果；对每个学生个人情况进行分析，其中包括引入该学生以往的考试异常行为统计；在考试过程中，对每个学生异常次数予以统计，检测初始即对过去出现行为异常频率高的学生进行检测频率的提高；检测过程中，记录高于设定次数同学，提高后续检测频率初始值进行检测识别；

S8.引入搜索和优化识别策略,遍历状态1到状态4，若某一学生经常出现异常行为状态1的确诊，则下一次异常识别中，优先判断是否为状态1，进而提高分析的效率；

S9、在对各学生端信息采集过后，系统将正常与异常情况信息传输至教师端并进行汇总，并进行信息分类分析。

2.根据权利要求1所述的一种基于改进的Openpose模型和面部微表情的考试行为检测方法，其特征在于：所述步骤S1之前还包括采用考生卡识别对测试者的身份识别；若身份识别成功人数达到考试人数，进行正常测试并把该场考试考生名单录入系统，若身份识别成功人数未达到考试人数，停止测试并提示老师进行考勤。

3.根据权利要求1所述的一种基于改进的Openpose模型和面部微表情的考试行为检测方法，其特征在于：所述步骤S4还包括：若识别到行为异常持续10秒，则标记为行为异常，若识别到行为异常未能持续10秒，则标记为潜在行为异常并继续测试；若在接下来识别到行为异常未能持续20秒，则取消标记，若识别到行为异常持续20秒，则标记为行为异常。