[发明专利]基于自注意力与中心点回归模型的桥梁螺栓检测方法

权利要求书

1.基于自注意力与中心点回归模型的桥梁螺栓检测方法，其特征在于：包括以下步骤：

获取待检测的桥梁螺栓图像；

通过预先训练得到的基于自注意力与中心点回归模型对所述桥梁螺栓图像进行检测；所述自注意力与中心点回归模型通过螺栓检测场景数据集的多组训练数据进行训练得到的；所述多组训练数据的每一组数据包括多种类型的桥梁螺栓图像及所述桥梁螺栓图像中带有的螺栓标注边框；

所述基于自注意力与中心点回归模型，包括：一个卷积神经网络、以及所述卷积神经网络分别连接的自注意力语义分割网络和基于物体中心点回归的检测网络；

根据所述自注意力与中心点回归模型的检测结果，确定所述桥梁螺栓图像螺栓是否存在病害；

其中，所述基于自注意力与中心点回归模型的检测过程，包括：对待检测的桥梁螺栓图像通过卷积神经网络进行中层特征的提取；将提取的中层特征输入自注意力语义分割网络，输出所述桥梁螺栓图像的语义分割特征图；将提取的中层特征输入基于物体中心点回归的检测网络，输出所述桥梁螺栓图像的检测特征图；将所述语义分割特征图与所述检测特征图进行连接，通过所述基于物体中心点回归的检测网络对螺栓进行定位；

将所述语义分割特征图与所述检测特征图进行连接，通过所述基于物体中心点回归的检测网络对螺栓进行定位，具体包括：

将所述语义分割特征图与所述检测特征图进行连接，得到完整特征f_dI；

将所述完整特征f_dI预测的螺栓尺寸与实际螺栓尺寸相比，采用L1损失函数作为螺栓尺寸预测的优化目标函数：

(3)式中，k为螺栓序号；N为螺栓总数量；为预测的螺栓尺寸；s_k为实际作为网络监督信息的螺栓尺寸；

基于物体中心点回归的检测网络自动学习螺栓标注边框中心点与真实位置的偏移量，公式化表述为优化下式：

(4)式中，a是由于卷积网络下采样形成的缩放因子，螺栓的中心点在原图中用p表示，在中心点热图中用表示，表示螺栓的中心点在中心点热图中的局部位移量；

预测完整特征f_dI的每一个坐标位置是否为螺栓的中心；令检测网络预测的中心点热图表示为采用Focal loss形式的逻辑回归损失函数作为优化目标：

(5)

(5)式中，α,β为focal loss中的超参数，N为当前图像中螺栓的数目，Y_xy表示真正的热图Y中横坐标为x纵坐标为y处对应的像素值，表示中心点热图中横坐标为x纵坐标为y处对应的像素值；

基于物体中心点回归的检测网络对于完整特征f_dI的每一个位置预测5个值，实现对螺栓定位；5个值分别为属于中心点的概率、中心点的两个维度的偏移量以及物体的宽高。

2.根据权利要求1所述的基于自注意力与中心点回归模型的桥梁螺栓检测方法，其特征在于：所述螺栓检测场景数据集的构建过程，包括：

选取多座桥梁的拍摄螺栓场景图像；所述场景图像包括多种类型的图像，每一幅图像带有螺栓标注边框；

对所述场景图像进行缩放、裁剪、翻转操作，获得场景图像数据增强增加样本集；

对所述样本集的图像进行蒙版图像处理，将螺栓标注边框内的所有像素作为蒙版图像的前景；

对经蒙版图像处理的样本集数据，进行物体尺寸敏感的螺栓中心点热图构建。

3.根据权利要求2所述的基于自注意力与中心点回归模型的桥梁螺栓检测方法，其特征在于：进行物体尺寸敏感的螺栓中心点热图构建，包括：

令表示待检测的宽度为W高度为H的三通道彩色图像，为实数；根据螺栓标注边框，生成和原图I尺寸相同的中心点热图所述中心点热图只具有0和1像素值；

由于基于卷积网络的物体检测由于下采样的原因会导致生成的特征图的尺寸变小，所以预处理的目的是生成中心点热图这里的a是由于卷积网络下采样形成的缩放因子；

原图I真正的热图为Y，Y中的每一个坐标的像素值根据预设公式计算；

当同一幅图像中多个螺栓的标注边框区域存在部分重叠时，生成的中心点热图中重叠像素的值选择最大的高斯传播结果。