[发明专利]一种基于可见光图像数据的多尺度输电线路缺陷检测方法

权利要求书

1.一种基于可见光图像数据的多尺度输电线路缺陷检测方法，其特征在于，所述方法包括如下步骤：

步骤一：可见光图像数据的获取

通过深度学习技术检测出输电线路上部件存在的缺陷；采用无人机搭载的高清相机获取影像，通过在无人机平台上搭载多台影像采集传感器，同时从垂直和东南西北四个倾斜方向，采集到五个不同角度的图像数据；

步骤二：输电线路部件缺陷样本库的获取

通过使用人工标注或机器自动标注、人工校正的方法获取输电线路部件缺陷的样本库；

步骤三：多尺度物体检测算法

1)尺度归一化训练算法

a.首先使用高斯滤波器对初始输入的图像进行平滑降采样构造图像金字塔；

b.将图像金字塔的每一层输入到区域推荐网络中，在每个分辨率上产生anchor box；

c.选中指定范围内的推荐框和实例目标；

d.将选出的有效边框输入到物体检测的网络模型中进行梯度下降训练；

e.对输出的边框进行非极大值抑制；

2)实时多尺度缺陷检测

首先，定义R为目标物体在图像中所占的面积与原始图像面积的比，其公式如下：

上式中，Area(object)为目标物体在图像中所占的面积，Area(image)为原始图像面积；

当R大于等于0.1时，直接对原始图像进行缩放；在缩放时采用均值滤波器对图像进行平滑处理，最终构建出图像金字塔并将金字塔上的每一层输入到检测模型进行检测；只要在金字塔的任何一层上检测到物体实例，就认为检测到了一个物体实例，最终将检测到的坐标映射回到原始图像中的坐标；

当R小于0.1，且图像的分辨大于1000万像素时，采用对高分辨的图像进行切分，再用深度学习的模型对每一个切块进行检测，其分为分割和合并两个部分；

a.分割

在使用深度学习模型对图像进行实时检测时，把任意尺寸的图像切分成模型可以处理的图像块，并将每个图像块传递给事先训练好的模型进行识别；切分图像的工作是通过用户预先定义好的窗口大小和重叠的程度的滑动窗口来实现；

b.合并

在大尺度的航拍输电线路图像中能够呈现出大尺度的空间结构，在对图像进行切分识别后，需要将识别出来的坐标还原成原来图像中的坐标；把图像块的坐标信息记录为filename_rows_column_height_width，假设识别出的目标物体相对于图像块的坐标为x，y，w，h，那么目标物体相对于原始图像的绝对坐标为：

x_obj＝column+x

y_obj＝rows+y

上式中，filename代表初始图像文件的文件名；rows，column代表的是当前图像子块左上顶点相对原始图像左上顶点的偏移量；x_obj,y_obj代表的是当前图像子块中检测到的物体相对于原始图像左上顶点的偏移量。

2.根据权利要求1所述的基于可见光图像数据的多尺度输电线路缺陷检测方法，其特征在于：所述尺度归一化训练算法中，推荐框和实例目标选择的标准如下：

1)在一个特定的分辨率下，边框的尺度在一个指定的范围之内；

2)anchor box与一个无效的ground truth box的重叠率小于0.3。

3.根据权利要求2所述的基于可见光图像数据的多尺度输电线路缺陷检测方法，其特征在于：在尺度归一化训练算法训练过程中，移除非常小或者非常大的目标实例，仅训练那些落入指定尺度范围内的目标，并且在梯度反向传播的时候限制这些极端目标的梯度参与反向传播训练。

4.根据权利要求1所述的基于可见光图像数据的多尺度输电线路缺陷检测方法，其特征在于：在实时多尺度缺陷检测的过程中，首先对待检测图像进行裁剪和缩放处理，然后使用深度学习物体检测模型在各个分辨率的子图像上进行检测，最后将检测到的目标实例坐标映射到原始图像坐标系下。