[发明专利]课堂举手行为检测方法、系统、计算机设备和存储介质

权利要求书

1.一种课堂举手行为检测方法，其特征在于，所述方法包括以下步骤：

实时采集待检测课堂视频，并根据所述待检测课堂视频，得到待检测图像数据；

将所述待检测图像数据输入姿态估计模型进行姿态估计，得到对应的姿态估计结果；所述姿态估计结果为包括若干个人体关节点的上半身姿态图；

根据所述姿态估计结果，确定待识别手部区域；

将所述待识别手部区域输入手势识别模型，得到举手行为检测结果。

2.如权利要求1所述的课堂举手行为检测方法，其特征在于，所述根据所述待检测课堂视频，得到待检测图像数据的步骤包括：

按照预设时间间隔对所述待检测课堂视频进行抽帧处理，得到候选检测图像数据；

筛除所述候选检测图像数据中的重复数据，得到所述待检测图像数据。

3.如权利要求1所述的课堂举手行为检测方法，其特征在于，所述姿态估计模型包括依次连接的人体区域检测模型、单人姿态估计模型和姿态冗余抑制模型；

所述人体区域检测模型包括YOLOv3网络；所述单人姿态估计模型包括依次连接的空间变换网络、单人姿态估计网络和逆空间变换网络；姿态冗余抑制模型包括参数化姿态非极大值抑制网络。

4.如权利要求3所述的课堂举手行为检测方法，其特征在于，所述将所述待检测图像数据输入姿态估计模型进行姿态估计，得到对应的姿态估计结果的步骤包括：

将所述待检测图像数据输入所述人体区域检测模型进行单人区域检测，得到单人人体区域；

将各个单人人体区域输入所述单人姿态估计模型进行姿态估计，得到对应的候选姿态估计结果；

将所述候选姿态估计结果输入所述姿态冗余抑制模型去除冗余姿态，得到所述姿态估计结果。

5.如权利要求1所述的课堂举手行为检测方法，其特征在于，所述人体关节点包括分别对应于头顶、颈部、左肩部、右肩部、左手肘、右手肘、左手腕、右手腕、左胯部和左胯部的关节点；

所述根据所述姿态估计结果，确定待识别手部区域的步骤包括：

根据所述姿态估计结果，得到对应的手肘关节点坐标和手腕关节点坐标；所述手肘关节点坐标包括左手肘关节点坐标和右手肘关节点坐标；所述手腕关节点坐标包括左手腕关节点坐标和右手腕关节点坐标；

根据所述手肘关节点坐标和手腕关节点坐标，得到对应的手部候选区域；

根据各个手部候选区域的手肘关节点坐标和手腕关节点坐标，计算对应的手臂与水平面的角度；

判断所述手臂与水平面的角度是否大于预设手势角度，若大于，则将所述手部候选区域确定为所述待识别手部区域。

6.如权利要求5所述的课堂举手行为检测方法，其特征在于，所述根据所述手肘关节点坐标和手腕关节点坐标，得到对应的手部候选区域的步骤包括：

分别以所述左手腕关节点坐标和所述右手腕关节点坐标为中心，得到对应的左手肘对称点坐标和右手肘对称点坐标；

分别得到以左手肘关节点坐标和左手肘对称点间的直线，以及右手肘关节点坐标和右手肘对称点坐标间的直线为对角线的矩形区域，并将所述矩形区域作为对应的手部候选区域。

7.如权利要求1所述的课堂举手行为检测方法，其特征在于，所述手势识别模型包括卷积神经网络模型；所述卷积神经网络模型包括依次连接的2个卷积层、1个池化层、2个卷积层、1个池化层、1个卷积层、1个池化层、1个卷积层、1个池化层和1个全连接层；所述卷积层的卷积核大小为3×3；所述池化层的核大小为2×2。

8.一种课堂举手行为检测系统，其特征在于，所述系统包括：

数据采集模块，用于实时采集待检测课堂视频，并根据所述待检测课堂视频，得到待检测图像数据；

姿态估计模块，用于将所述待检测图像数据输入姿态估计模型进行姿态估计，得到对应的姿态估计结果；所述姿态估计结果为包括若干个人体关节点的上半身姿态图；

区域筛选模块，用于根据所述姿态估计结果，确定待识别手部区域；

手势识别模块，用于将所述待识别手部区域输入手势识别模型，得到举手行为检测结果。