[发明专利]一种基于改进YOLOv4的河道废弃物监测方法

权利要求书

1.一种基于改进YOLOv4的河道漂浮物监测方法，其特征在于，在网络训练过程包括以下步骤：

1)获取河道水面监测的原始视频数据，从原始视频数据中提取出图像数据；

2)对数据集中所有标注的边框进行尺度的聚类处理；

3)视频数据采用Mosaic数据增强方法进行预处理；

4)将一个batch图像数据输入网络中进行前向传播得到检测结果；

5)对检测结果与标注值计算loss；

6)根据loss值反向传播，并根据学习率进行权重的更新；

7)重复4)、5)、6)步骤直到网络loss不断下降，趋于收敛。

在检测过程包括以下步骤：

8)将待检测图像作为输入，经过backbone提取图片特征；

9)提取backbone网络中不同深度的特征图；

10)将提取的多个尺度的特征图作为FPN结构的输入进行特征融合，其中特征图上采样方式为双线性插值算法；

11)将FPN融合后的多尺度特征图输入到PAN结构中进行强特征定位，得到三个不同尺度的特征图检测结果；

12)将所有特征图检测结果进行nms处理后生成最终结果并在原始输入图像中标注出检测框和检测类别；

13)提取下一帧待检测的图片，重复步骤8)到步骤12)完成对视频的逐帧检测。

2.根据权利要求1所述的一种基于改进YOLOv4的河道漂浮物监测方法，其特征在于，步骤2)中所述的对数据集中所有标注的边框进行尺度的聚类处理:采用K-Means聚类算法获取9类不同尺度的先验框，其流程为：

2-1)首先在所有标注的GroundTruth样本点中随机选择9个作为聚类的中心(每个样本是一个四维的向量)；

2-2)分别计算其余所有样本点到这9个中心的距离，各样本点归属于与其距离最近的中心点；

2-3)在新划分的簇中以四个维度上求均值的方式选出新的聚类中心；

2-4)重复步骤2-2)、2-3)直到新聚类中心与原来聚类中心不再变化，或者变动幅度在规定范围之内。

距离公式采用欧式距离公式：

这里，X,Y为两个样本点，x_i，y_i分别为两个样本点每一个维度的坐标值。聚类结果按照面积大小排序为(23,29)、(37,34)、(26,53)、(41,53)、(41,90)、(94,40)、(61,75)、(78,135)、(188,206),可以发现先验框的尺度差别较大，将其分别分配给76*76，38*38，19*19三个特征图作为先验框。

3.根据权利要求1所述的一种基于改进YOLOv4的河道漂浮物监测方法，其特征在于，步骤3)中所述的视频数据采用Mosaic数据增强方法进行预处理:该方法参考了CutMix数据增强方式，Mosaic利用四张图片进行拼接，它可以丰富检测物体的背景，且在BN计算的时候一次计算四张图片的数据，其流程为：

3-1)随机选取四张图片；

3-2)分别对四张图片进行翻转、缩放、色域变化等，并且按照四个方向位置摆好；

3-3)进行图片的组合和框的组合，将四张图片分别以左上、左下、右下和右上的顺序重新拼接成一张新的图片；

3-4)用该图片数据进行训练。

4.根据权利要求1所述的一种基于改进YOLOv4的河道漂浮物监测方法，其特征在于，步骤10)中所述的将提取的多个尺度的特征图作为FPN结构的输入进行特征融合，其中特征图上采样方式为双线性插值算法:

双线性插值充分考虑了周围4个像素点的影响，根据待采样点与周围4个相邻的距离为权重值，首先在水平方向上进行线性内插得到两个中间像素值,然后对水平方向上插值得到的两个像素点再在垂直方向上进行线性内插得到最终的像素值，其公式如下:

其中(i,j)、(x1,y1)、(x1,y2)、(x2,y1)、(x2,y2)分别为待插点以及其周围4个点A、B、C、D的坐标值，f(i,j)、f(A)、f(B)、f(C)、f(D)分别为待插点以及其周围4个点A、B、C、D的像素值。

5.根据权利要求1所述的一种基于改进YOLOv4的河道漂浮物监测方法，其特征在于，步骤12)中所述的将所有特征图检测结果进行nms处理后生成最终结果并在原始输入图像中标注出检测框和检测类别；这里的检测类别包含有8类，分别为树叶、塑料袋、水草、树枝、瓶子、牛奶盒、塑料垃圾和圆球状垃圾。