[发明专利]基于多粒度卷积神经网络剪枝的教师板书动作识别方法

说明书

一种基于多粒度卷积神经网络剪枝的教师板书动作识别方法属于深度学习领域。本发明结合智慧教育中的教室精品课程智能化录制这一实际应用，将多粒度卷积神经网络剪枝应用到人体动作识别算法中，从而提升人体动作识别算法的处理速度。教书板书动作识别算法分为三步：OpenPose进行特征提取，坐标归一化以及BP神经网络分类。此外，在OpenPose的算法中，我们使用了基于滤波器级和连接级的多粒度卷积神经网络剪枝框架对OpenPose的骨干网络进行压缩，设计并实现了相应的训练策略，实现了两类剪枝方法的结合。最终实验结果表明网络剪枝的准确率和速度完全满足实际应用的需求。

技术领域

本发明属于深度学习领域，涉及一种基于多粒度卷积神经网络剪枝的教师板书动作识别方法，属于深度神经网络模型压缩的技术领域。

背景技术

近年来，教室精品课程智能化录制系统可通过高清拍摄像机采集教师、学生的画面，并通过对视频图像分析，实现多种教学场景切换，自动跟拍教师、学生主体，并对主体的动作进行识别。

教室精品课程智能化录制系统中需要对输入视频中的教师进行检测跟踪，并对教师的板书动作进行识别。一般而言，选用OpenPose算法对图像中的教师进行检测和板书动作识别，OpenPose算法用于提取输入图像中的人体关键点，算法采用自下而上的策略，先提取图像中的关键点位置，再通过学习到的关键点关系计算出人体骨架信息，根据这些关键点信息可以计算出教师在图像中的位置，解决了教师的检测问题，但在实际的教师板书识别方法中，算法的处理速度往往较慢，有时不能达到实际应用的需求。

发明内容

本发明结合智慧教育中的教室精品课程智能化录制这一实际应用，提出一种基于多粒度卷积神经网络剪枝的的教师板书动作识别方法，其中多粒度剪枝压缩算法是通过有效地训练策略，结合滤波器级剪枝和连接级剪枝，达到网络压缩的目的。

教师板书动作识别方法的流程如图1所示：首先利用标清摄像机采集高清视频图像，原始图像经过提取感兴趣区域后输入到教师板书动作识别方法中。

教师板动作书识别方法中采用OpenPose关键点提取算法提取图像中提取人体的关键点，然后将关键点坐标进行位置归一化处理，最后将归一化后的坐标信息输入到训练好的BP神经网络中进行分类，得到输出结果。

以下为教书板书动作识别方法的各阶段详解：

(1)OpenPose进行特征提取

首先，采用尺寸为w×h的RGB图像作为输入，然后OpenPose的主干网络对基本特征进行前馈计算，同时提取一组预测人体关键点的二维置信度图S和一组表征人体关键点之间的关联程度的二维矢量场V。集合S＝(S₁，S₂，S₃，…，S_j，…，S_J)，S_j∈R^w*h，R^w*h指的是输入的尺寸为w×h的全部RGB图像，包含J个置信图，每个置信图表示一类人体关节的关键点，图中每个响应峰值表示有一个关键点存在。集合V＝(V₁，V₂，V₃，…，V_c，…，V_c)，V_C∈R^w*h*2具有C个二维向量域，每个肢体对应一个二维向量域，编码了肢体的每个部分指向另一个部分的方向。最后，通过匈牙利算法解析置信度图和亲和度字段，输出图像中所有人体的关键点信息。