[发明专利]基于图像识别的无人机电力杆塔检测及自主巡航方法

权利要求书

1.一种基于图像识别的无人机电力杆塔检测及自主巡航方法，其特征在于：包括以下步骤：

S1：人工对搭载云台设备的无人机设定航行方向，对无人机前方输电线路进行拍照，得到第一图像，对所述第一图像预处理后使用所构建的卷积神经网络提取电力杆塔的特征，识别出所述第一图像中所有电力杆塔位置并依次编号；

S2：无人机向选取的目标电力杆塔航行并摄录视频，按照一定时间间隔从摄录的视频中提取关键帧图像，通过所述卷积神经网络对所述关键帧图像进行识别，并对识别出的所述目标电力杆塔进行框选标记及比对，判断无人机与所述目标电力杆塔的距离；

S3：当所述关键帧图像中的目标电力杆塔高度超过一定比例时，通过所述卷积神经网络对目标电力杆塔上的关键点进行识别以判断无人机相对于所述目标电力杆塔的角度与距离；

S4：根据步骤S3中所得到的无人机与所述目标电力杆塔的距离及角度数据，无人机移动至与连接电力杆塔的输电线相垂直的方向后，使无人机高于所述目标电力杆塔并对其一侧的关键点拍摄，对所述目标电力杆塔的一侧进行拍摄后，无人机调整位置对所述目标电力杆塔的另一侧关键点进行拍摄，之后，无人机将按照编号依次选取电力杆塔进行巡检；

S5：将步骤S4中获取的拍摄图像上传到图片库中，并为拍摄图像增加特征信息。

2.根据权利要求1所述一种基于图像识别的无人机电力杆塔检测及自主巡航方法，其特征在于：步骤S1中的卷积神经网络识别电力杆塔包括如下步骤，

S100：获得第一图像，并对其进行预处理；

S200：所述卷积神经网络对预处理后的第一图像进行图像分割，使用边界框对电力杆塔的特征进行框选，边界框所含参数包括电力杆塔在边界框中的概率以及置信度；

S300：使用所述卷积神经网络输出目标检测结果，通过非极大值抑制筛选出最优选框，得到电力杆塔位置。

3.根据权利要求2所述一种基于图像识别的无人机电力杆塔检测及自主巡航方法，其特征在于：通过所述卷积神经网络对电力杆塔进行框选包括如下步骤，

S201：通过所述卷积神经网络将预处理后的第一图像进行网格分割，网格数根据无人机与电力杆塔之间的距离进行设定；

S202：区分出电力杆塔的形状和周围环境，标注电力杆塔的选框坐标信息，构建电力杆塔图片数据库；

S203：利用所构建的电力杆塔图片数据库对所述卷积神经网络进行训练，得到所述卷积神经网络的关键权重信息；

S204：通过训练后的所述卷积神经网络对第一图像中的电力杆塔的像素坐标进行标定并对电力杆塔进行框选。

4.根据权利要求1所述一种基于图像识别的无人机电力杆塔检测及自主巡航方法，其特征在于：所述卷积神经网络包括依次连接的第一卷积层、特征提取层、多个卷积层，所述特征提取层包括VBL层、Resn层、池化层，所述VBL层包括VGG卷积层、Batch Normalization以及Leaky relu层。

5.根据权利要求1所述一种基于图像识别的无人机电力杆塔检测及自主巡航方法，其特征在于：所述卷积神经网络的预训练过程包括如下步骤：

S11：采用现场拍摄的方式，按照不同光照条件，天气状况，距离以及角度，对电力杆塔进行拍摄，并根据现场天气及光照条件对电力杆塔图像进行标定与分类，构建电力杆塔图像库；

S12：通过使用多种数据增强的方法，包括水平翻转、裁剪、放大及缩小，通过输入不同大小与形状的图像数据来提高算法的性能；

S13：通过人工对电力杆塔区域进行标注，使用标注工具labeimg对于兴趣区域进行标注，在电力杆塔上的关键点使用CVAT标定工具进行标注；

S14：在构建好的电力杆塔图像库数据集上对卷积神经网络的卷积层进行训练。

6.根据权利要求1所述一种基于图像识别的无人机电力杆塔检测及自主巡航方法，其特征在于：在步骤S3中，当所述关键帧图像中的目标电力杆塔高度超过四分之三时，通过所述卷积神经网络对目标电力杆塔上的关键点进行识别以判断无人机相对于目标电力杆塔的角度与距离。