[发明专利]一种基于改进的Openpose 考试多人异常行为及口罩佩戴检测方法

权利要求书

1.一种基于改进的Openpose考试多人异常行为及口罩佩戴检测方法，其特征在于：包括以下步骤：

S1、通过教室前端和后端的摄像头，以一定初始帧率持续拍摄获取学生考试时的图像；

S2、考试全过程中，摄像头正常检测教室，通过识别每个人的面部来判断该名同学是否佩戴口罩，一旦发现有学生未佩戴口罩，便记录该名同学的位置，将信息反馈给老师；

S3、判断异常行为方法：识别出测试图像的每帧图片的关键点并对其编号、连线；以Openpose所选取的18个关键点为参考，为了使识别更加简便，挑选出上半身中左右眼睛，左右耳朵，鼻子，脖子，左右手腕，左右手肘，左右肩膀共12个关键点进行识别；

S4、考场异常行为检测分成2个主要状态：正常状态和异常状态；根据关键点的坐标超出一定阈值或关键点之间的距离和连线的角度超过一定阈值将异常状态具体划分为：状态1：主要定义为手部信息超出规定区域；状态2：主要定义为低头并且手放在桌子下；状态3：主要定义为左右张望；状态4：主要定义为频繁抬头；初始时，系统将会每隔5秒对图像进行对比检测，若各连线数值未达到异常情况将判定为正常考试状态，若关键点间位置关系出现错误、关键点连线之间的距离达到阈值将提高检测频率至每隔1秒进行对比检测；

S5、在学生课桌下配置一个定向声音采集器，以此来辅助检测学生的考试行为状态，在排除噪音干扰后，若检测到该区域有学生交谈的声音，即可标记为疑似异常状态；系统会自动调整摄像头的焦距或者调用后摄像头，来重点观察该区域考生的考试行为，直至其恢复为正常状态或被判定为异常状态；

S6、根据识别出的关键点连线的图像，当初次发现某帧图像中关键点位置关系或关键点连线距离达到预设的阈值时，将该帧设置为起始帧，此后提高检测频率；初始时，系统将会每隔5秒对图像进行对比检测；若指定关键点出现丢失、相关数值达到阈值或出现异常表情时将提高检测频率至每隔1秒进行对比检测；当关键点位置长时间丢失或关键点连线距离超过设定阈值时，判定为异常状态；

S7、当检测到异常状态，系统将继续对后20秒的每一秒进行分析，并根据关键点之间连线异常值、关键点丢失等异常信息按各行为判定标准判定为状态1、状态2、状态3或状态4；

S8、摄像头检测学生考试时，一旦检测出某学生拿掉口罩或口罩佩戴不规范，或者检测到学生考试异常，系统会自动调整摄像头的焦距，锁定该学生并把该帧图像保存，同时标记该学生为考试行为异常；

S9.在讲台放置一语音模块，当系统判定学生进入异常状态时，信号发射器发出信号，语音模块上的蓝牙模块接收到此信号，通过功率放大板控制扬声器发出声音，提醒老师该学生出现异常；

S10.引入搜索和优化识别策略,若某一考生经常出现疑似异常行为状态的确诊，则下一次异常识别中，减少判定异常行为姿态所需要持续的时间，优先判断是否为考试异常状态，进而提高分析的效率。

2.根据权利要求1所述的一种基于改进的Openpose考试多人异常行为及口罩佩戴检测方法，其特征在于：所述S3中改进的Openpose为一种双并行卷积网络模型，所述双并行卷积网络模型同时使用两个卷积网络，一个卷积网络从图像中定位人体关键部位的位置，另一个卷积网络则用于连接候选关键部位组成肢体，再将这两个卷积网络的结果汇总进行姿势组装，完成对图像中人体姿势的检测。

3.根据权利要求1所述的一种基于改进的Openpose考试多人异常行为及口罩佩戴检测方法，其特征在于：所述S3中Openpose的主要算法包括局部区域亲和算法匈牙利算法。

4.根据权利要求1所述的一种基于改进的Openpose考试多人异常行为及口罩佩戴检测方法，其特征在于：所述S4中状态1：当学生左手或右手手腕关键点在连续五次识别的帧图像中位置超过指定区域，即定义为异常状态1；状态2：当学生的在连续十五次识别的帧图像面部五个关键点中任意关键点的位置低于阈值时且手腕关键点位置低于一定阈值时，即定义为异常状态2；状态3：当学生面部的左侧或右侧眼睛和耳朵这两个关键点在连续五次识别的帧图像中均丢失即定义为状态3；状态4：当学生面部的五个关键点中的任意一个关键点位置在连续十次识别的帧图像中经常超过阈值，则定义为异常状态4。