[发明专利]一种录播系统中教师检测与跟踪方法及系统

权利要求书

1.一种录播系统中教师检测与跟踪方法，其特征在于：

包括以下步骤：

S100、通过固定在教室后方的摄像头获取教师上课的场景图像，并对图像进行预处理；

S200、对预处理的图像进行缩放；

S300、把缩放后的图像放入到训练好的教师检测网络进行检测，初步获取目标的坐标点；

S400、获取的目标点通过目标检测模块的修正与补充最终送入云台进行控制跟踪；

所述S300中的训练好的教师检测网络，其中网络架构包含两个部分：backbone和ExtraLayers；

backbone部分是对浅层特征的提取，所述backbone后面加入了RFB模块，RFB是一个多分支的卷积块，内部结构包含两部分：一、不同卷积核尺度的多分支卷积，用于模拟多尺度的人眼感受野；二、虫洞卷积操作，用于模拟人类视觉感知中感受野尺度与离心率间的关系；

其中多分支结构，具体地：先1 × 1 卷积降低特征图的通道数，在每个分支上形成BottleNeck结构，再接n × n 卷积；把5×5 卷积替换为两个堆叠的3×3 卷积，不仅降低了参数量，也增加了模型的非线性能力，并进一步使用1 × n + n × 1 卷积替换n × n卷积，增加shortcut设计；其次通过虫洞卷积来模拟人眼感受野，具体地，每个分支的常规卷积操作后，连接一个dilates 卷积层，模拟人眼感受野的尺度与离心率；

S300中的教师检测网络整个网络的构建包含三个基本操作：basicConv层、池化层MaxPool2d、RFB层；

basicConv层又包含三个基本操作：卷积层conv2d、批归一化层BatchNorm2d、激活层ReLU；

Backbone部分由四层basicConv和MaxPool2d组合而成；

输入图像通过第一层basicConv得到128×300×300的特征图，然后通过MaxPool2d把特征图处理成128×150×150，然后依次通过第二层、第三层basicConv和MaxPool2d的组合处理得到128×38×38的特征图；

Extra Layers部分由RFB层和五层basicConv组合而成；

经过RFB处理后得到一个抽头F1，然后依次经过五层basicConv得到64×1×1的特征图并且分别得到五个抽头F2、F3、F4、F5、F6，最终把六个抽头送到检测层进行检测与定位。

2.根据权利要求1所述的录播系统中教师检测与跟踪方法，其特征在于：所述S100中的对图像进行预处理为对图像做高斯滤波预处理操作。

3.根据权利要求1所述的录播系统中教师检测与跟踪方法，其特征在于：

RFB模块划分成三个部分：一个分支结构、shortcut模块、激活单元ReLU；

其中，分支结构首先通过三个1×1的basicConv操作，在每个分支下分别接不同的卷积处理，最左边的一个分支连接一个3×3的basicConv操作后使用rate=1的空洞处理；中间一个分支依次经过两个3×3的basicConv操作后使用rate=3的空洞处理；右边一个分支依次经过5×5和3×3的basicConv操作后使用rate=5的空洞处理，三个分支最终通过连接处理接一个1×1的basicConv操作；

shortcut模块就是在最右边的分支1×1的basicConv操作后与分支结构的处理结果连接送入到ReLU层进行处理。

4.根据权利要求1所述的录播系统中教师检测与跟踪方法，其特征在于：所述训练好的教师检测网络的训练步骤如下：

（c1）收集老师课堂场景图片，按照COCO或者VOC格式对图像进行标注；

（c2）把图片按照3:1:1分成训练集、测试集、验证集；

（c3）利用Pytorch搭建设计好的网络结构；

（c4）调节学习率、批大小、训练次数这些超参数；

（c5）得到收敛后的网络权重文件。