[发明专利]一种面向交通设施巡检的视觉缺陷在线检测方法

权利要求书

1.一种面向交通设施巡检的视觉缺陷在线检测方法，其特征在于，包括以下步骤：

步骤1，离线训练得到缺陷检测模型：

构建缺陷检测模型和度量学习模型；

使用缺陷数据集及标注训练得到交通设施巡检图像中的缺陷的种类和位置；

使用局部二值模式算子提取特征，以注意力机制形式将特征嵌入检测模型，检测图像中的缺陷的种类和位置，将深度学习算法和局部二值模式算子进行融合，得到缺陷检测模型；

按照标注将缺陷图像块进行剪切，使用剪切后的不同种类的缺陷图像块及标注，训练度量学习模型，用以提取缺陷的外观特征；

步骤2，缺陷的在线巡检：

对于输入的视频帧，使用步骤1中训练后的缺陷检测模型检测缺陷；

依据缺陷的运动特征和度量学习模型得到的外观特征进行缺陷轨迹的匹配和更新；

统计得到实时巡检结果。

2.根据权利要求1所述的一种面向交通设施巡检的视觉缺陷在线检测方法，其特征在于，步骤1包括以下步骤：

步骤1-1，训练缺陷检测模型：改进缺陷检测模型，将通用目标检测的物体定义为高层次的抽象概念，高层次的抽象概念重语义信息、轻纹理信息、局部和整体的关系明确并有明确的语义边界；将视觉缺陷定义为低层次的抽象概念，低层次的抽象概念轻语义信息、重纹理信息且没有明确的语义边界；增强底层特征在最后检测特征图中的占比；使用密集连接将底层特征复用，使用局部二值模式算子提取特征，以注意力机制嵌入深度网络中，并融合深度学习算法和局部二值模式算子；使用K均值聚类算法聚类锚框尺寸，加入马赛克数据增强，改进损失函数，使用缺陷数据集及其标注训练改进后的缺陷检测模型，检测得到输入图像中的缺陷的种类和位置；

步骤1-2，剪切数据集中的缺陷得到缺陷图像块：依据数据集中的缺陷标注将图像中的缺陷剪切下来，附上类别标签作为度量学习模型的训练数据集；

步骤1-3，训练度量学习模型：使用步骤1-2得到的训练数据集训练度量学习模型，去掉最后的分类层后，将该模型作为外观特征提取器。

3.根据权利要求2所述的一种面向交通设施巡检的视觉缺陷在线检测方法，其特征在于，步骤1-1包括：使用密集连接将底层特征复用，使用局部二值模式算子提取特征，以注意力机制嵌入深度网络中；将数据集划分训练集和测试集，使用K均值聚类算法对锚框进行聚类；采用随机水平翻转、随机裁剪和马赛克作为数据增强方法，改进损失函数，进行训练。

4.根据权利要求3所述的一种面向交通设施巡检的视觉缺陷在线检测方法，其特征在于，步骤1-2包括：将缺陷数据集中的各个缺陷剪切，作为度量学习模型的数据集。

5.根据权利要求4所述的一种面向交通设施巡检的视觉缺陷在线检测方法，其特征在于，步骤1-3中将缺陷数据集中单个种类的缺陷作为同一序列的同一目标进行度量学习模型的训练。