[发明专利]基于yolo3技术的渣土车洁净度视频识别分析方法

权利要求书

1.一种基于yolo3技术的渣土车洁净度视频识别分析方法，其特征在于，包括以下步骤：

11)渣土车实时视频采集图像的获取和预处理：获取渣土车实时视频采集图像，并按照视频帧进行处理，每视频帧均按标准VOC数据格式对采集的图像数据进行处理；

12)洁净度识别模型的构建与训练：利用darknet网络搭建渣土目标检测网络框架，对搭建后的渣土目标检测网络框架进行训练，得到训练后洁净度识别模型；

13)渣土车洁净度的识别分析：将预处理后的视频帧输入训练后的洁净度识别模型，通过洁净度识别模型提取出特征，输出渣土位置预测值和渣土类别概率预测值。

2.根据权利要求1所述的基于yolo3技术的渣土车洁净度视频识别分析方法，其特征在于，所述洁净度识别模型的构建与训练包括以下步骤：

21)搭建yolo3网络构建洁净度识别模型，洁净度识别模型包括yolo3分类网络和yolo3检测网络；yolo3分类网络使用darknet结构，由一系列的1*1、3*3的卷积层组成，每个卷积层后接BN层和LeakyReLu层，网络主干由52个卷积层组成；yolo3检测网络采用多尺度预测结构；

22)yolo3网络使用darknet结构，darknet结构为一个全卷积网络，无全连接层，其网络的损失函数定义如下：

xy_loss＝confindence*(2-w*h)*crossentropy，

wh_loss＝confidence*(2-w*h)*(wh_True-wh_Pred)，

confidence_loss＝confidence*crossentropy+(1-confidence)*crossentropy*ignore，

class_loss＝confidence*crosstropy，

total_loss＝xy_loss+wh_loss+confidence_loss+class_loss，

式中，xy_loss表示物体中心点坐标损失，wh_loss表示anchor长宽回归值的损失，confidence_loss表示置信度损失，class_loss表示类别损失；

23)设定Yolo3采用上采样法和融合法，融合f*f、2f*2f、4f*4f共3个尺度的先验框，在3个尺度的融合特征图上分别进行独立检测；

24)设定Yolo3中每个单元格预测3个包含渣土信息的边界框，每个边界框包含(4+1+c)*3个值，其中4表示坐标信息、1表示对象置信度、c表示目标类别概率；

边界框中坐标预测如下：

t_x＝(G_x-C_X)，

t_y＝(G_y-C_y)，

t_w＝log(G_w-P_w)，

t_h＝log(G_h-P_h)，

b_x＝σ(t_x)+c_x，

b_y＝σ(t_y)+c_y，

b_h＝P_he^h，

其中，Cx、Cy是特征图中单元格的左上角坐标，yolov3中每个单位格在特征图中的宽和高均为1，即公式中Cx、Cy均为1，Pw、Ph是预设的边界框映射到特征图中的宽和高，Gx、Gy是目标实际框在这个特征图上的中心点坐标，

Gw、Gh是目标实际框在这个特征图上的宽和高，tx、ty是预测的坐标偏移值，tw、th是尺度缩放，最终得到的边框坐标值是bx、by、bw、bh即边界框相对于特征图的位置和大小；

25)设定Confindence反映了当前边界框是否含有渣土以及渣土位置的准确性，计算方式如下：

confidence＝P(Object)*IOU(pred*groudtruth)

其中，当P(Object)＝1表示bounding box包含目标物体渣土，

P(Object)＝0表示不包含目标物体渣土，

IOU为交并比，为预测边界框与真实区域的面积，面积以像素面积计算；

26)设定Yolo预测阶段，类别概率为类别的条件概率与confidence的乘积，计算公式如下：

class＝Pr(Classi|Object)*confidence

其中，Pr(Classi|Object)表示对象类别的条件概率，class反映了bounding box是否包含目标渣土和边界框坐标的准确度；

27)对yolo3网络进行超参数设定，将采用随机梯度下降法训练网络，训练出洁净度识别模型，其中初始学习率设定为0.001，梯度下降动量为0.9，权重衰减正则为0.0001。