[发明专利]一种面向交通设施巡检的视觉缺陷在线检测方法

说明书

本发明公开了一种面向交通设施巡检的视觉缺陷在线检测方法，包括离线训练和在线巡检两部分。离线训练时采用带有包围框和类别标注的缺陷数据集作为训练数据，训练CrackDet检测模型，结合深度学习算法和传统算法的优势；同时裁剪出不同种类的缺陷图像块，使用度量学习模型进行训练。在线巡检时，对于输入的视频帧，使用检测模型检测得到缺陷类别和位置；使用卡尔曼滤波器计算检测框的运动特征；使用度量学习模型计算缺陷的外观特征；对检测到的缺陷进行跟踪并统计；根据跟踪轨迹中检测得到的类别进行投票确定其缺陷种类；最终实现在线巡检，得到交通设施巡检时所出现的缺陷的种类、大小、位置以及数量。

技术领域

本发明涉及一种视觉缺陷检测方法，特别是一种面向交通设施巡检的视觉缺陷在线检测方法。

背景技术

早期传统的计算机视觉技术被用来进行缺陷检测。如文献1：Q.Zou,Y.Cao,Q.Li,Q.Mao,and S.Wang,“Cracktree:Automatic crack detection from pavement images,”Pattern Recognition Letters,vol.33,no.3,pp.227–238,2012.275–291,1993.对图像进行预处理降噪后，使用阈值得到裂缝候选区域，再使用形态学中的方法对裂缝区域进行优化。后续的方法大多基于手工特征和基于块的分类方法，如文献2：M.Quintana,J.Torres,and J.M.Men′endez,“A simplified computer vision system for road surfaceinspection and maintenance,”IEEE Transactions on Intelligent TransportationSystems,vol.17,no.3,pp.608–619,2016.这个方法使用局部二值模式算子提取图像块的特征，再使用支持向量机进行分类。它将缺陷检测视为一个基于块的分类任务，需要将图像剪切成多个小块，再训练进行分类。这些传统的方法都有着很明显的缺点，很难对形态复杂、光照变化大的缺陷进行检测，且只能进行分类，对块的尺度大小敏感，因此渐渐被深度学习方法所取代。

随着深度学习在视觉领域取得越来越大的进步，很多的工作也将深度学习技术应用到缺陷检测任务中。如文献3：L.Zhang,F.Yang,Y.D.Zhang,and Y.J.Zhu,“Road crackdetection using deep convolutional neural network,”in ICIP,2016,pp.3708–3712.它构建了一个神经网络，对划分成块的缺陷图像进行分类，并且分类精度已经超越基于传统算法的缺陷检测方法。后续的方法多将缺陷检测视为分割任务，如文献4：Yang,Fan,etal.Feature pyramid and hierarchical boosting network for pavement crackdetection.IEEE Transactions on Intelligent Transportation Systems 21.4(2019):1525-1535.在分割网络中加入特征金字塔和层级推进结构来获得更好的细节和语义特征进行缺陷区域的分割，但是该方法只能对单一缺陷进行检测，不能检测多种类型的缺陷。同时，还有使用基于深度学习的通用目标检测器进行缺陷检测任务，如文献5：Naddaf-Sh,Sadra,et al.An efficient and scalable deep learning approach forroad damage detection.2020 IEEE International Conference on Big Data(BigData).IEEE,2020.使用通用检测器EfficientDet，加上数据增强进行缺陷检测；但是，通用目标检测器的检测对象和交通设施视觉缺陷间存在较大差异，通用目标检测器检测的通常是语义明确、边界确定的对象；交通设施视觉缺陷通常则是语义模糊、边界不确定。因此，通用目标检测器无法直接满足缺陷检测的要求。