[发明专利]一种教室空座查询系统、实时视频分析系统及方法

权利要求书

1.一种实时视频分析系统，其特征在于，采用YOLOv4-Tiny网络对多路视频流数据进行实时分析，YOLOv4-Tiny网络包括CSPDarknet53-Tiny网络、FPN网络和yolov3网络；首先通过CSPDarknet53-Tiny网络提取输入图片的特征，得到两个不同大小的特征图，然后通过FPN网络进行特征融合和处理，最后连接yolov3网络输出结果。

2.如权利要求1所述的一种实时视频分析系统，其特征在于，

输入到YOLOV4-Tiny网络的图像经过卷积层、正则化和激活层操作，得到第一特征图；

将第一特征图再经过卷积层、正则化和激活层操作，得到第二特征图；将第二特征图经过残差块的操作后得到第三特征图，接着经过残差块的操作后变换成第四特征图，然后分成两路，第一路直接进入FPN模块，通过卷积层进行候选框的选取；第二路继续经过一个残差块的操作后得到第五特征图，再经过卷积层、正则化和激活层的操作后得到第六特征图，然进入FPN模块的卷积层进行候选框的选择，然后又分成两路，一路直接进入yolov3网络预测结果，另一路通过卷积和上采样操作，与第一路直接进入FPN的第四特征图进行张量拼接，扩充张量的维度，拼接后获得的第七特征图再进行卷积操作，最后进入Yolov3网络预测结果。

3.如权利要求2所述的一种实时视频分析系统，其特征在于，

所述Yolov3网络将未经过张量拼接处理的特征图分成13*13个grid cells，如果ground truth中某个目标的中心坐标落在某个grid cell中，那么就由该grid cell来预测该目标；每个gridc cell都会预测3个固定数量的边界框，13*13特征图的感受野最大，因此其anchor box的尺寸最大，分别为116*90，156*198，373*326，适合检测较大的目标；对经过张量拼接处理的特征图应用较小的anchor box，分别为30*61，62*45，59*119，适合检测小目标。

4.如权利要求3所述的一种实时视频分析系统，其特征在于，

对于训练图片中的ground truth，若其中心点落在某个cell内，那么该cell内的3个anchor box负责预测该ground truth，由与ground truth的IOU最大的anchor box预测该ground truth，而剩余的2个anchor box不与该ground truth匹配。

5.如权利要求4所述的一种实时视频分析系统，其特征在于，

所述Yolov3网络假定每个cell至多含有一个ground truth，与ground truth匹配的anchor box计算坐标误差、置信度误差以及分类误差，而其它的anchor box只计算置信度误差。

6.如权利要求2所述的一种实时视频分析系统，其特征在于，

所述Yolov3网络使用逻辑回归预测每个先验边界框的目标性得分，通过计算先验边界框与ground truth的重叠面积来进行目标评分；通过阈值来筛选先验边界框，对于重叠面积小于阈值的先验边界框直接去掉，如果先验边界框与ground truth目标比其他目标重叠多，则相应的目标性得分应为1。

7.一种视频分析方法，其特征在于，基于DeepStream SDK开发，运行在Jetson Nano平台上，Jetson Nano平台内置CUDA、OpenCV和TensorRT模块，包括以下步骤：

步骤(1)，捕获视频流数据；

步骤(2)，解码视频流数据；

步骤(3)，解码之后，对视频流数据进行预处理；

步骤(4)，将多路视频流数据组合到一起进行批处理；

步骤(5)，采用YOLOV4-Tiny网络对多路视频流数据进行实时分析，执行目标检测，将推理结果沿管道传递到下一个插件；

步骤(6)，将推理结果对应的文字等信息附加到元数据上，可显示在屏幕上；

步骤(7)，获取最终的推理结果。