[发明专利]基于可见光和激光雷达点云融合的输电通道自动巡检方法

权利要求书

1.一种基于可见光和激光雷达点云融合的输电通道自动巡检方法，其特征在于：包括如下步骤：

步骤S1：输电通道航拍，收集三维点云和二维可见光图像数据：无人机在将要进行巡检的输电通道范围进行航拍，航拍过程中使用激光雷达对输电通道进行扫描测距，记录位置信息和角度的参数，航拍结束后对数据进行解析生成三维点云数据，同时使用摄像机拍摄可见光图像；

步骤S2：构建数据集：对S1中收集到的点云数据和二维图像，分别按照三维点云分割任务和二维杆塔隐患目标检测任务进行标注,同时采用了图像锐化算法对二维可见光图像进行预处理，最后划分训练集、验证集、测试集；

步骤S3：模型训练：分别使用S2中数据集构建三维点云分割模型PCI-Seg和杆塔隐患目标检测模型YOLOV5，进行迭代训练、验证与测试；

步骤S4：基于激光雷达点云自动规划航线巡检：在巡检时，无人机使用激光雷达扫描仪扫描输电通道并生成实时点云，通过S3中训练得到的点云分割模型对该点云进行分割得到杆塔和导线的位置，基于杆塔和导线计算无人机飞行总体航线；

步骤S5：外破隐患检测与测距：分析S4中的点云分割结果，检查输电通道中是否存在的外破隐患，如果存在，则通过激光雷达点云的位置信息计算外破隐患与输电通道的杆塔和输电通道主体的距离，判断是否存在入侵输电通道的情况；

步骤S6：杆塔本体隐患检测与定位：通过S4中的点云分割结果得到杆塔位置，无人机在遇到杆塔时沿着杆塔周围飞行，并通过摄像机和激光扫描雷达拍摄二维可见光图像和三维点云，通过三维点云分割定位杆塔上的拍照点并在拍照点拍摄二维图像，将图像信息以及拍摄点位置信息回传至服务器端，通过S3训练的杆塔隐患目标检测模型检测图片中的杆塔是否存在隐患；

所述步骤S3模型训练与推理的过程还包括：

S31：三维点云分割模型是基于PointNet++模型改进的点云与图像融合学习的点云分割模型PCI-Seg，整体上是一个编码器-解码器结构，包括了图片处理流和点云处理流，集成了点云-二维图像融合模块，针对点云数据和二维图像数据进行融合学习并进行点云分割，基于point-wise的方式，用语义图像特征增强点云特征，最后，设计了端到端学习框架来集成这两个组件，输出对点云分割的结果，网络的输入分别是1.3的点云， n为输入点云的点数、3表示点云的维度；2.H×3的二维图像，W为图像宽度、 H为图像高度、3代表图像为RGB三通道图像；

S32：图片处理流:包括了四个卷积层，每个卷积层是由两次3*3的卷积操作、一次batchnormalization操作和一个ReLU作为激活函数，，j = 1、2、3、4分别是四个卷积层的输出；之后，经过四个并行的反卷积层恢复到输入图片的尺寸，然后把它们拼接在一起以获得丰富的图片语义信息，最后再经过一次卷积操作为图像处理流的输出；

S33：点云处理流：包括了四次下采样和四次上采样操作，下采样和上采样分别使用了SetAbstraction层和Feature Propagation 层，SA和FP的输出分别 j = 1、2、3、4表示，此外，为了增强点云的语义特征，将点云特征 和图片语义特征 使用融合模块进行融合，也进行融合操作，最后输出N*K的矩阵，K是类别数，用于之后的点云分割；

S34：点云特征与图像特征合:融合模块结构包括一个网格生成器、一个图像采样器以及融合层；

S35：网格生成器:将雷达点云和映射矩阵M作为输入，输出不同分辨率下激光雷达和摄像机图片的对应关系,设点云为、图片中的对应位置为，则有以下计算公式： 建立对应关系后，即可使用图像采样器得到每个点对应的语义特征；

S36：图像采样器：将采样位置 和图像特征作为输入，对每一个采样位置产生一个point-wise的图像特征表示,由于点云在图像上的采样位置可能落到相邻像素之间，考虑使用双线性插值来获得连续坐标下的图像特征：

BI代表双线性插值、表示采样位置邻域像素的图像特征；

S37：融合层:逐点图像特征和点云特征分别经过全连接网络映射到相同的通道，然后将它们的每个元素相加形成一个更加紧密的特征表示，然后通过另一个全连接网络将其压缩成单个通道的权重映射 W,最后使用激活函数使W围在 之间,总体计算公式如下：

其中表示激活函数、 表示双曲正切函数、为可学习的权重矩阵,最后融合层的输出如下：,“”代表拼接操作；

S38：对于目标检测模型YOLOv5，输入可见光图像，输出是在图片检测到的目标类别和边界框，针对分类置信度和定位置信度之间的不一致问题，在原有的损失函数上加上分类与定位强制一致性损失：

其中Pre是预测的边界框、Label是标签的边界框、confidence是Pre所属类别的置信度；

S39：分别使用S2中预处理后的点云数据和杆塔隐患数据训练点云分割模型PCI-Seg和目标检测模型YOLOv5，通过不断迭代训练直至模型收敛，并使用验证集和测试集验证与测试模型效果，保存效果较好的模型，用于后续的输电通道点云分割与杆塔隐患目标检测。