[发明专利]近水桥梁多类型病害智能检测方法与无人船设备

权利要求书

1.近水桥梁多类型病害智能检测方法，其特征在于：包括如下组成部分：

组成部分一：智能检测算法：基于深度学习的基础设施病害目标检测网络CenWholeNet；具体包括如下步骤：

步骤一：骨干网络：骨干网络用于提取图像的特征；具体方法如下：给定输入图片其中W为图像的宽度，H为图像的高度，3表示图片的通道数，即RGB三个通道；通过骨干网络提取输入图像P的特征；采用两种卷积神经网络模型：沙漏网络Hourglass和深度残差网络ResNet；

步骤二：检测器：检测器将提取的图像特征转化为计算需要的张量形式，通过损失函数进行优化；

具体方法如下：

检测器是CenWholeNet的核心，其将骨干网络提取后的特征转换为由4个张量组成的输出集合

表示中心关键点热力图，其中C为病害的类别，这里取为C＝3，r为输出步长，也就是下采样比例，默认的步长为4，通过下采样，提高计算效率；设为ground-truth热力图，对于类别C来说，位置(i，j)的ground-truth中心点为首先计算其下采样的等价位置这里然后通过一个高斯核函数，将映射到张量中，Y_p下式定义：

其中，和表示中心点的位置(x，y)，σ_p＝gaussian_radius/3；gaussian_radius表示表示检测框角点偏移的最大半径，该最大半径保证偏移后的检测框与ground-truth检测框的交并比IoU≥t，在所有的实验中都取t＝0.7；将不同中心点对应的所有的Y_p整合起来，即得到ground-truth热力图H：

其中，H_c，x，y表示H在位置(c，x，y)处的值，也就是这个位置为中心点的概率；具体得，H_c，x，y＝1表征中心关键点，即正样本；显然，H_c，x，y＝0为背景，也就是负样本；采用focalloss作为一个度量标准来衡量和H之间的距离，即

其中，N为所有中心关键点的数目，α和β是超参数，用来控制权重；在所有的情况下，均取α＝2，β＝4；通过最小化神经网络模型更好地预测出目标的中心点的位置；

获取预测框的尺寸信息W×H才能最终确定边界框，设第k个关键点p_k对应的ground-truth边界框的尺寸为d_k＝(w_k，h_k)，将所有d_k进行整合，得到ground-truth边界框尺寸张量

其中，表示像素级加法；对于所有的病害类别，模型会给出一个预测的维度张量使用L1 Loss来衡量D和的相似性：

通过最小化模型得到每一个预测框的粗略的宽度和高度；

由于图片存在r倍的尺寸缩放，通过引入位置偏移来修正下采样引起的误差；记第k个关键点p_k的坐标为(x_k，y_k)，则映射后的坐标为那么得到ground-truth偏移：

整合所有的o_k，得到ground-truth偏移矩阵

这里，第一个维度的2表征关键点(x，y)在W和H两个方向的偏移量；对应的，模型会给出一个预测张量使用smooth L1 Loss来训练偏移损失：

此外，为了使模型更加关注目标的整体信息，引入了一组新的张量来修正预测框，提高检测精度；具体地，将检测框一对角点的连线与x轴的夹角以及检测框的对角线长度作为训练目标；设检测框左上角点和右下角点的坐标为和所以检测框的对角线长度l_k计算为：

两个角点之间的连线的倾角θ_k由下式计算：

从而构建一对补充极坐标更进一步获得ground-truth极坐标矩阵

对应的，模型也会给出一个预测张量这里，Polar和采用一个L1loss来训练：

最终，对于每一个位置，模型都会预测出C+6的输出，这会组成集合它们也将共享网络的权重；网络总的损失函数由下式定义：

在所有的实验中，都设λ_Off＝10，λ_D和λ_Polar均取为0.1；

步骤三：结果输出：结果输出则是将张量转化为边界框，实现目标检测的预测结果输出；具体步骤如下：

结果输出部分要做的工作是从预测的热力图张量中提取可能的中心关键点坐标，然后根据对应的和中的信息得到预测的边界框；显然，的数值越大就越有可能是中心点；对于类别C来说，如果点p_cxy满足下式，则认为p_cxy是一个备选的中心点；

中心点集合是其中N_p为选择的中心点总数；对于其中任一中心点提取对应的尺寸信息偏移信息和极坐标信息首先，根据计算出预测框尺寸修正值：

所以，预测框的具体位置为：

这里，将边界框尺寸调整超参数取为α_y＝α_x＝0.9，β_y＝β_x＝0.1；

组成部分二：将并行注意力模块PAM嵌入目标检测网络CenWholeNet中，所述并行注意力模块包括两个子模块：空间注意力子模块和通道注意力子模块；其中并行注意力模块的具体步骤如下：

PAM考虑特征图两个维度的注意力，空间注意力和通道注意力，并通过并联的方式进行组合；

给定输入特征图为其中V、H和W分别表示通道、高度和宽度；首先，通过空间注意力子模块实施变换然后，通过通道注意力子模块实施变换最后得到输出的特征图变换主要包括卷积、最大池化操作、均值池化操作和ReLU函数；总的计算过程如下：

其中，表示输出像素级张量加法；

空间注意力子模块强调“在哪里”提高注意力，关注感兴趣的区域的位置；首先，沿着通道方向对特征图进行最大池化操作和均值池化操作，得到若干个二维图像，和这里λ₁和λ₂为不同的池化操作权重调整超参数，这里取λ₁＝2，λ₂＝1；U_{avg_s}和U_{max_s}由下式计算，MaxPool和AvgPool分别表示最大池化操作和平均池化操作；

接着，引入卷积操作，生成空间注意力权重空间注意力子模块总的计算流程如下：

上式等价为：

其中，表示像素级张量乘法，σ表示Sigmoid激活函数，Conv表示卷积操作，卷积核尺寸为3×3；需要指出，空间注意力权重将会沿着通道轴复制；

通道注意力子模块用于寻找内部通道的关系，关心给定特征图中“什么”是令人感兴趣的；首先，沿着宽度和高度方向进行均值池化操作和最大池化操作，生成若干个1维向量，和λ₃和λ₄是不同的池化操作权重调整超参数，这里取λ₃＝2，λ₄＝1；U_{avg_c}和U_{max_c}由下式计算：

后续，引入point-wise卷积作为通道上下文聚合器来实现point-wise的通道间交互；为了降低参数量，P_Conv被设计成沙漏的形式，设衰减的比例为_r；最后得到通道注意力权重该子模块的计算流程如下：

上式也就等价为：

其中，δ表示ReLU激活函数；PConv1的卷积核尺寸为V/r×V×1×1，逆变换PConv2的卷积核尺寸为V×V/r×1×1；比例r推荐取为16，需要指出，通道注意力权重将会沿着宽度和高度方向进行复制；

组成部分三：智能检测设备：基于激光雷达导航的无人船系统，所述无人船系统包括四个模块，船体模块、视频采集模块、激光雷达导航模块和地面站模块。

2.根据权利要求1所述的近水桥梁多类型病害智能检测方法，其特征在于：组成部分三中所述的基于激光雷达导航的无人船系统具体细节如下：

无人船系统包括四个模块，船体模块、视频采集模块、激光雷达导航模块和地面站模块，模块之间相互配合，协同工作；

船体模块包括三体船体和动力系统；三体船更加稳定，能够抵抗6级风浪，有效遥控距离为500米，能够适应工程应用场景；船体尺寸为75×47×28cm，方便运输；无人船有效载重5kg，加装多台科学仪器；此外，无人船具备定速巡航的功能，减轻人员的操控负担；

视频采集模块由三轴相机云台、固定前置摄像头和补光器组成；三轴相机云台支持10倍光学变焦、自动对焦、拍照和60FPS的视频录制；满足不同尺度、不同位置的病害拍摄需求；固定前置摄像头能够方便确定船体姿态；通过无线图传设备将画面实时传回地面站，一方面进行病害识别，一方面辅助控制USV；为了应对中小桥梁桥底光线不足的工作环境，加装可控的LED补光板，内有180颗高亮度LED灯珠；3D打印了承载LED补光板的云台，满足多角度的补光需求；此外还加装有固定前视的LED灯珠，为前视摄像头提供光源支持；

激光雷达导航模块包括二维激光雷达、迷你计算机、一套传输系统和控制系统；激光雷达有效扫描半径12米，能够进行360°全方位扫描；它与迷你计算机连接后，能够进行无人船周围环境的实时建图；通过无线图传，周围场景的信息实时传回地面站，从而实现无人船的激光雷达导航；基于激光雷达导航，无人船不再需要GPS定位，这在桥梁底部、地下暗渠这些GPS信号微弱的区域非常有优势；无线传输系统支持1080P视频的实时传输，最大传输距离达10km；采用冗余传输，保证了链路稳定，抗干扰性较强；控制系统由无线图传设备、Pixhawk 2.4.8飞控、SKYDROID T12接收机组成；通过飞控和接收机，对船上设备进行有效的控制；

地面站模块包括两个遥控器和诸多显示设备；主遥控器用来操纵无人船，副遥控器用来控制船载科学设备，显示设备用来监视摄像头和激光雷达实时传回的信息；在实际工程检测中，计算机为可选设备，它一方面实时显示画面，一方面对图像进行实时处理，识别病害；设备之间相互配合，实现无需GPS信号的智能病害检测。