[发明专利]一种基于多尺度特征的教室人体姿态实时检测方法

权利要求书

1.一种基于多尺度特征的教室人体姿态实时检测方法，其特征在于，所述方法包括：

S1、采集教室监控图像，并对其进行标记；

S2、对标记后的原始图像进行数据增强；

S3、以单阶段目标网络SSD网络作为基础结构，将原始图像与增强后的图像调整到相同大小，输入到骨干网络VGG-16中，使用RFB模块替换SSD网络的特征输出层，并通过特征输出层提取出不同尺度的特征图；

S4、对增强后的原始图像通过下采样，并对下采样的图像提取出多尺度的上下文特征；

S5、将得到的多尺度的上下文特征注入到不同尺度的特征图中，并通过尺度匹配获得多尺度特征；

S6、将获得的多尺度特征基于自适应权重的特征融合方式进行融合；

S7、对融合后的多尺度特征进行检测，输出教室监控图像中的人体姿态的检测框。

2.根据权利要求1所述的一种基于多尺度特征的教室人体姿态实时检测方法，其特征在于，所述对标记后的原始图像进行数据增强包括对标记后的原始图像进行分块处理，设置分块比，按照分块比对标记后的原始图像进行裁剪，并裁剪出若干分块，设置舍去比例，如果分块中的目标框在边界上的比例大于所述舍去比例，则保留目标框且更新目标框的边界，如果分块中的目标框在边界上的比例小于所述舍去比例，则舍去在边界上的目标框。

3.根据权利要求1所述的一种基于多尺度特征的教室人体姿态实时检测方法，其特征在于，步骤S3中的骨干网络中VGG-16的全连接层fc6层和fc7层替换成卷积层，将pooling5层的大小从2×2改为3×3，去除掉了所有的dropout层，并移除掉了fc8层，从而提取出图像的基础特征。

4.根据权利要求1所述的一种基于多尺度特征的教室人体姿态实时检测方法，其特征在于，所述提取出不同尺度的特征图包括骨干网络输出的基础特征输入到RFB-s模块中得到第一个特征图，将所述第一个特征图依次输入到其他RFB模块中，获取到不同尺度的特征图。

5.根据权利要求1所述的一种基于多尺度特征的教室人体姿态实时检测方法，其特征在于，所述对下采样的图像提取出多尺度的上下文特征包括得到初始特征的投影，将所述初始特征的投影分裂为多个分支，并将第一个分支和最后一个分支采用多个1×1的卷积改变通道数；在中间几个分支采用非对称卷积核；并在这几个分支中采用不同的感受野的空洞卷积捕获多尺度的上下文特征，将不同分支的特征逐渐拼接起来。

6.根据权利要求1所述的一种基于多尺度特征的教室人体姿态实时检测方法，其特征在于，所述将得到的多尺度的上下文特征注入到不同尺度的特征图中，并通过尺度匹配获得多尺度特征包括将提取出的上下文特征注入到特征图中，通过向量点乘操作对同一级的上下文特征和特征图进行融合操作；并通过下采样操作完成尺度匹配。

7.根据权利要求1所述的一种基于多尺度特征的教室人体姿态实时检测方法，其特征在于，所述将获得的多尺度特征基于自适应权重的特征融合方式进行融合包括将不同尺度的特征进行尺度缩放，将尺度缩放后的特征进行自适应权重融合，表示为：

其中，y_s(i，j)表示特征层s融合后位置为(i，j)的特征通道向量；β_n，s(i，j)表示特征层n转换特征层s后的空间权重因子，且N表示特征层层数，即特征图个数；x_n→s(i，j)表示为从特征层n的特征转换特征层S后位置为(i，j)的特征通道向量。

8.根据权利要求1或7所述的一种基于多尺度特征的教室人体姿态实时检测方法，其特征在于，所述自适应权重的权重因子的计算公式表示为：

其中，β_n，s(i，j)表示特征层n转换特征层s后的空间权重因子；表示softmax函数的控制参数。

9.根据权利要求8所述的一种基于多尺度特征的教室人体姿态实时检测方法，其特征在于，采用1×1的卷积层计算softmax函数的控制参数。

10.根据权利要求1所述的一种基于多尺度特征的教室人体姿态实时检测方法，其特征在于，所述对融合后的多尺度特征进行检测，输出教室监控图像中的人体姿态的检测框包括输入融合后的多尺度特征，设置出预测的姿态类别个数以及生成的先验框个数，在每个分类预测特征图上生成不同尺度大小的锚，并通过分类卷积层输出多个维度的分类得分向量，通过回归卷积层输出若干维度的回归向量。