[发明专利]一种基于图卷积神经网络的教师非言语行为检测方法

权利要求书

1.一种基于图卷积神经网络的教师非言语行为检测方法，其特征在于，包括以下步骤：

步骤1，每隔一定的帧数截取课堂录播视频的图像帧，获取图像数据；

步骤2，采用目标检测的方法Faster RCNN处理复杂的课堂场景的图像数据，构建二分类任务，将教师与背景分开，获取教师所在的矩形区域的坐标，以此获取教师图像，此处只包含教师的图像是后续骨架信息提取的基础；

步骤3，对于只包含教师影像数据，采用现有的基于深度卷积神经网络的人体姿态估计算法OpenPose实现骨架检测，得到骨架坐标信息，坐标信息包含18个关节点，编号如下：鼻子-0,脖子-1，右肩-2，右肘-3，右手腕-4，左肩-5，左肘-6，左手腕-7，右臀-8，右膝盖-9，右脚踝-10，左臀-11，左膝盖-12，左脚踝-13，右眼-14，左眼-15，有耳朵-16，左耳朵-17，这是构建图卷积神经网络模型进行行为分类基础；

步骤4，对OpenPose获取的骨骼坐标数据进行正则化处理，构建对应的人体关节自然连接图，关节点为图的节点，关节点之间的自然连接为图的自然连接边，根据教师的行为特点以及骨骼关节点之间的关系区分物理连接和逻辑连接，获得人体关节自然连接图对应的邻接矩阵；

其中，a_ij表示邻接矩阵A中第i行第j列的值；

步骤5，构建图卷积神经网络模型，对待识别骨架图对应的人体关节连接图进行图卷积操作，获取待识别骨架图的行为类别，分为象征性动作、会意性动作、指示性动作、评价性动作或者适应性动作。

2.根据权利要求1所述的一种基于图卷积神经网络的教师非言语行为检测方法，其特征在于：步骤1进一步包括以下子步骤；

1.1，获取智慧教室内摄像头的监控数据。

1.2，使用OpenCV每隔30帧截取一次图像数据。

3.根据权利要求1所述的一种基于图卷积神经网络的教师非言语行为检测方法，其特征在于：步骤2进一步包括以下子步骤；

2.1，使用已经训练好的目标检测网络Faster RCNN对步骤1中获取的图像数据进行二分类的目标检测，获取目标检测的结果；

2.2，由于在整堂课中，教师不会时时刻刻出现在摄像头的可见范围中，所以在此步骤摒弃检测不出结果的图像，只保存画面中有教师的数据；

2.3，对Faster RCNN输出的坐标，从原图中获取教师存在的矩形框，并且裁切出来，此时获得的图像数据排除了复杂的课堂场景中其它物体的干扰。

4.根据权利要求1所述的一种基于图卷积神经网络的教师非言语行为检测方法，其特征在于：

3.1，对于步骤2中获取的数据，使用OpenPose算法提取教师的骨架关节点信息，骨架关节点信息由18组三维数据构成，分别是关节点在当前图像中的(x,y)的坐标及置信度；

3.2，考虑课堂场景复杂，会导致3.1中检测关节点时，存在无法完全检测的情况，此时若检测到的关节点数量大于等于12个，则空白的关节点使用其他检测到的关节点的均值进行填充，否则舍弃此条数据。

5.根据权利要求1所述的一种基于图卷积神经网络的教师非言语行为检测方法，其特征在于：步骤4中正则化处理的实现方式如下；

将教师关节点的从整幅图的坐标位置转换为相对位置，对关节坐标处理的公式如下：

其中，P是教师在以原始图像为坐标系的位置，P′为原始坐标经过转换后的坐标，P[1]为是序号1-脖子的关节位置，由此将所有图像上关节点的绝对位置坐标转换成了以1号关节点为中心的相对坐标数据。