[发明专利]基于YOLOv3剪枝网络的实时物体检测系统

权利要求书

1.一种实时物体检测系统，包括：实时视频采集及预处理模块，物体识别与检测模块和显示及保存模块。

所述实时视频采集及预处理模块和物体识别与检测模块相连，用于采集实时视频数据，将视频数据转化为单帧图片后进行预处理，预处理后的数据发送给所述物体识别与检测模块。

所述物体识别与检测模块，与实时视频采集及预处理模块和显示及保存模块相连，接收实时视频采集及预处理模块发送的数据，将预先训练好的权重数据载入到YOLOv3剪枝网络中，用卷积神经网络对数据中的物体进行检测，检测结果发送至显示及保存模块；

所述显示及保存模块，与物体识别与检测模块相连，将识别到的物体进行实时显示并将结果保存。

2.根据专利要求1所述的一种基于YOLOv3剪枝模型的实时物体检测系统，其特征在于：所述实时视频采集及预处理模块包括摄像子模块和预处理模块；

摄像子模块：通过CSI摄像头实时采集视频数据，并对摄像头参数进行初始化，将规范化的影像数据转化为流式数据输出到IO口；

预处理子模块：采用opencv工具包来读取IO口的流式数据，对流式数据的单帧图片进行提取并缩放到物体识别与检测模块所需的大小，作为物体识别与检测模块的输入数据。

3.根据专利要求2所述的一种基于YOLOv3剪枝模型的实时物体检测系统，其特征在于：对摄像头参数进行初始化，包括用户预先设置的码流、帧率、分辨率和IP地址。

4.根据专利要求1所述的一种基于YOLOv3剪枝模型的实时物体检测系统，其特征在于：所述物体识别与检测模块包括特征提取子模块，模型剪枝子模块和识别与检测子模块；

特征提取子模块：利用k-meas聚类算法对图片数据进行维度聚类分析，获取适合检测物体的锚框比例，同时采用YOLOv3剪枝网络中的Darknet53网络作为特征提取网络，将浅层特征和深层特征进行融合，实现多尺度融合。该子模块中YOLOv3中网络的前向推断公式如下：

b_x＝σ(t_x)+c_x (1)

b_y＝σ(t_y)+c_y (2)

b_x,b_y是预测框在对应尺寸的特征图上的相对中心坐标值。b_w,b_h是预测框的宽和高。c_x,c_y是输出特征图grid cell的左上角坐标，p_w,p_h为锚框的宽和高。t_x,t_y为预测的坐标偏移值，t_w,t_h为预测的尺度缩放倍数；

YOLOv3目标置信度损失函数如下所示：

其中网络输出c_i通过Sigmoid函数得到

YOLOv3目标类别损失函数如下所示：

其中，网络输出c_i通过Sigmoid函数得到表示目标检测框i中存在第j类目标的Sigmoid概率；

YOLOv3目标定位损失函数如下：

其中：

其中表示预测框的坐标偏移量(YOLOv3预测的是坐标偏移值)，表示真实框的坐标偏移量，(b^x,b^y,b^w,b^h)为预测框的参数，(c^x,c^y,p^w,p^h)为锚框的参数，(g^x,g^y,g^w,g^h)为真实框的参数；；

通过权重系数得到最终的损失函数：

L(O,o,C,c,l,g)＝λ_confL_conf(o,c)+λ_claL_cla(O,C)+λ_locL_loc(l,g) (8)

模型剪枝子模块：利用YOLOv3目标检测模型中卷积神经网络的Batch Normal层(BN层)，通过BN层中的γ参数的大小作为衡量每个通道重要性的指标，将BN层的缩放因子γ与损失函数相结合，得到新的剪枝目标损失函数：

上式x和y是网络输入和标签值，W是网络中的训练权重，公式中的第一项是YOLOv3网络模型的训练损失函数，λ为惩罚项的平衡系数，g(γ)是缩放因子γ的L1正则化惩罚系数，通过上述目标损失函数对稀疏化的YOLOv3模型中对应γ参数较小的通道进行剪枝，得到剪枝网络；

识别与检测子模块：对特征提取子模块使用TensorRT进行推理加速，用剪枝后的卷积网络对数据中的物体进行检测，获取实时数据中物体的位置和类别，并使用矩形框进行标注。