[发明专利]用于教学辅助的提醒方法及提醒装置

权利要求书

1.一种用于教学辅助的提醒方法，其特征在于，所述提醒方法包括：

获取基于YOLOv4网络训练的班级人员模型；

实时获取教室内上课视频图像，将每一上课视频帧图像数据输入所述班级人员模型，得到每一上课视频帧图像数据中的班级人员目标框；并将每一上课视频帧图像数据中的班级人员目标框与图像预设划分区域对应关联；

响应于异常行为区域确认信号，获取当前时刻的上课视频帧图像数据，以及将所述异常行为区域确认信号对应的图像预设划分区域中的班级人员目标框内的人像数据进行人脸识别处理，得到相应的人脸识别结果；

根据所述人脸识别结果，确定异常行为人员终端位置编码信息；

根据异常行为人员终端位置编码信息，发送相应的提示信息。

2.根据权利要求1所述的提醒方法，其特征在于，所述获取基于YOLOv4网络训练的班级人员模型，包括：

1)建立教室内上课视频数据集；

2)建立YOLOv4网络结构；

3)使用ImageNet大型数据集对步骤2)中得到的YOLOv4网络结构进行训练，得到预训练模型，再对YOLOv4网络结构进行特定训练参数设定；

4)使用所述上课视频数据集对所述预训练模型进行迭代训练，直到损失函数收敛，得到基于YOLOv4网络训练的班级人员模型。

3.根据权利要求1所述的提醒方法，其特征在于，所述异常行为区域确认信号基于以下条件生成：

获取每一图像预设划分区域中每个班级人员目标框的位置；

计算每一图像预设划分区域中相邻班级人员目标框的位置之间的距离的方差；

在图像预设划分区域对应的方差满足预设条件时，得到待定图像预设划分区域，并获取教师终端的异常行为区域信号；

根据所述教师终端的异常行为区域信号确定图像预设划分区域，并与所述待定图像预设划分区域进行区域一致性确认；

当确认一致时，输出异常行为区域确认信号。

4.根据权利要求1所述的提醒方法，其特征在于，所述将异常行为区域确认信号对应的图像预设划分区域中的班级人员目标框内的人像数据进行人脸识别处理，得到相应的人脸识别结果，包括：

获取班级人员目标框内的图像；

将班级人员目标框内的图像运用LBPH人脸识别算法，得到LBP编码直方图集合，将LBP编码直方图集合与班级人员的LBPH图进行比较；

若比较结果为一致，所述人脸识别结果为班级人员目标框人脸识别正常；

若比较结果为不一致，所述人脸识别结果为班级人员目标框人脸识别异常。

5.根据权利要求4所述的提醒方法，其特征在于，所述根据人脸识别结果，确定异常行为人员终端位置编码信息，包括：

若所述人脸识别结果为班级人员目标框人脸识别异常，确定班级人员目标框人脸识别异常对应的班级人员目标框的位置；

若所确定的班级人员目标框的位置属于人员终端位置编码信息所在范围，确定该人员终端位置编码信息为异常行为人员终端位置编码信息。

6.一种用于教学辅助的提醒装置，其特征在于，所述提醒装置包括：

人员识别模块，用于：

获取基于YOLOv4网络训练的班级人员模型，实时获取教室内上课视频图像，将每一上课视频帧图像数据输入所述班级人员模型，得到每一上课视频帧图像数据中的班级人员目标框；并将每一上课视频帧图像数据中的班级人员目标框与图像预设划分区域对应关联；

异常区域判断模块，用于响应于异常行为区域确认信号，获取当前时刻的上课视频帧图像数据，以及将所述异常行为区域确认信号对应的图像预设划分区域中的班级人员目标框内的人像数据进行人脸识别处理，得到相应的人脸识别结果；

提醒模块，用于根据所述人脸识别结果，确定异常行为人员终端位置编码信息，以及根据异常行为人员终端位置编码信息，发送相应的提示信息。