[发明专利]考勤与学情分析方法、系统、设备及可读存储介质

说明书

本发明公开了一种考勤与学情分析方法，采集视频图像，对视频图像进行硬件解码；在边缘端对视频图像进行人脸特征值提取，上传所述人脸特征值至服务器进行考勤；在边缘端对视频图像中的人体进行人体姿态估计，进行学情行为分析；将所述人脸特征值与所述学情行为分析结果通过时间戳以及位置进行匹配；将匹配了所述人脸特征值的所述学情行为分析结果上传至所述服务器。本方案实现了对学生的自动考勤及学生的学情情况自动分析，可利用教室中原本架设的相机进行使用，减少部署开销。此外，由于采用边缘计算替代传统服务器方案将计算提到前端得到计算结果，在网络数据传输上仅传输AI计算结果而非视频数据可以减少大量的带宽提高速度。

技术领域

本发明涉及人工智能技术领域，特别涉及一种考勤与学情分析方法、系统、设备及可读存储介质。

背景技术

近年来，随着深度学习技术的发展以及国家政策的支持，基于深度学习的人工智能技术在教育领域得到了越来越广泛的应用。考勤和学情分析，作为教学管理的两大块，自然也受到了大量地关注。目前自动考勤管理，主要使用AI人脸识别进行考勤管理，并部署在服务器中。基于人脸识别的考勤系统一般包括用来采集人脸图像的摄像头，以及用来将当前人脸图像与预先存储在人脸识别系统中的初始人脸信息进行对比的人脸识别模块，验证通过，考勤成功。AI算法多部署于PC服务器或者云端，存在没有良好的解码功能，费用高，体积大，配置要求高，速度慢等问题。此外，目前传统的算法无法帮助学情分析，无法识别教室内的学生是否在学习，只有通过AI算法才能有较高的准确率完成学情分析，但是这种方法依然面临着配置要求高，速度慢等问题。

发明内容

本发明要解决的技术问题是如何提供一种速度快、硬件环境要求低的考勤与学情分析方法、系统、设备及可读存储介质。

为了解决上述技术问题，本发明的技术方案为：

第一方面，本发明提出了一种考勤与学情分析方法，包括：

采集视频图像，对视频图像进行硬件解码；

在边缘端对视频图像进行人脸特征值提取，上传所述人脸特征值至服务器进行考勤；

在边缘端对视频图像中的人体进行人体姿态估计，进行学情行为分析；

将所述人脸特征值与所述学情行为分析结果通过时间戳以及位置进行匹配；

将匹配了所述人脸特征值的所述学情行为分析结果上传至所述服务器。

优选地，在边缘端对视频图像进行人脸特征值提取，上传所述人脸特征值至服务器进行考勤的步骤为：

检测图像中的人脸，并获取人脸坐标及关键点坐标；

将检测到的人脸进行对齐矫正；

对视频图像中的人脸进行人脸追踪；

检测人脸的倾斜程度，滤除倾斜程度大于阈值的图像；

获取图像的人脸特征，上传所述人脸特征值至服务器进行考勤。

优选地，通过交并比对视频图像中的人脸进行人脸追踪，当前帧图像的人脸框与前一帧图像的人脸框的重叠率大于预设值时，判定当前帧人脸框人脸与前一帧人脸框人脸为同一人脸。

优选地，检测人脸的倾斜程度，滤除倾斜程度大于阈值的图像的步骤包括：

获取人脸的鼻子、左眼、右眼、左嘴角和右嘴角的点坐标；

鼻子距离左眼和左嘴角连线的最小距离为距离一、鼻子距离右眼和右嘴角连线的最小距离为距离二，所述距离一与所述距离二中较小的值除以人脸矩形框的宽度，将比值小于阈值时将该图像滤除。