[发明专利]基于深度学习的桥梁拉索表面缺陷实时识别系统及方法

说明书

本发明公开了基于深度学习的桥梁拉索表面缺陷实时识别系统及方法，包括检测机器人、安装在检测机器人上的四个检测相机、图像分割器、图传单元、远程主机。方法为：一、通过识别系统装置采集待测拉索表面缺陷数据集，并对拉索缺陷对象进行标注，建立数据集。二、把拉索缺陷数据集送入Mask‑RCNN深度学习网络训练并生成权重文件。三、检测机器人在拉索上运行，检测相机获取当前拉索图像并合成图片后，通过图传单元发送给远程主机。四、远程主机接受图像进行识别测试，载入训练获得的权重。五、通过Mask‑RCNN网络获取拉索缺陷识别的图像后，远程主机进行图像处理，得到缺陷像素图像。六、远程主机输出保存原始图像和缺陷识别图像，在原始图像中标注缺陷评级信息。

技术领域

本发明属探伤机器人及无损检测领域，具体来说，涉及基于深度学习的桥梁拉索表面缺陷实时识别系统及方法。

背景技术

斜拉桥主要由受压的桥塔、受拉的索和承弯的梁体组成。在斜拉索的正常工作中，斜拉索会受到桥面动载荷、风雨振、日照以及腐蚀性气体的反复作用，很容易发生外层护套破损，局部钢丝锈蚀等病害。斜拉索护套的损坏导致内部钢丝暴露在空气中，还有的斜拉索表面附着有油污可能渗透到索内部，加速钢丝的腐蚀，若不定期维护，最终会因钢丝腐蚀失效导致斜拉索失效甚至桥面坍塌等事故。

拉索检测机器人属于高空作业机器人，有效的代替了人工检测。目前拉索机器人的精确定位以及拉索缺陷识别依旧是机器人应用过程中的重点和难点。拉索表面缺陷检测依旧存在不准确、精度不高、实时性不好的问题。

发明内容

为解决上述问题，本发明公开了基于深度学习的桥梁拉索表面缺陷实时识别系统及方法，解决拉索表面缺陷的识别不准确、精度不高的问题，同时结合检测机器人实现对拉索缺陷的实时检测和评级。

基于深度学习的桥梁拉索表面缺陷实时识别系统及方法，该实时识别系统包括用于桥梁拉索的检测机器人、四个检测相机、图像分割器、图传单元、远程主机，四个检测相机用于获取拉索360度图像，远程主机用于机器人控制和接收处理图像。

基于深度学习的桥梁拉索表面缺陷实时识别系统方法，具体流程包括：

步骤(1)：通过实时识别系统装置采集待测拉索表面缺陷数据集，并对图像中拉索缺陷对象进行标注，建立数据集。

步骤(2)：进行网络参数初始化设定后，把拉索缺陷数据集送入Mask-RCNN深度学习网络训练并生成权重文件。

步骤(3)：远程主机控制检测机器人在拉索上运行，四个检测相机获取当前拉索图像，通过图像分割器合成为一张图片，并通过图传单元发送给远程主机。

步骤(4)：远程主机接受图像进行识别测试，设置深度学习网络参数，载入步骤(2)训练获得的权重，送入Mask-RCNN网络进行拉索缺陷分类、回归和像素掩码生成。

步骤(5)：通过Mask-RCNN网络获取拉索缺陷识别的图像后，远程主机进行图像处理，去除背景，二值化处理，得到缺陷像素图像，通过缺陷像素大小对缺陷损伤程度进行评级。

步骤(6)：远程主机同时输出保持原始图像和缺陷识别图像，并在原始图像中标注缺陷评级信息。返回步骤(3)。

进一步，实时识别系统及方法的步骤(1)的数据集中的图片包含拉索360度的四张图片，分别对应四个相机获取的图像顺序；数据集包括不少于2000张含缺陷的拉索图像，并按4:1分为训练集和测试集；通过labelme软件对图像中缺陷边缘进行标注，标注分类数为2(包括缺陷对象和背景)并转换生成COCO格式的数据集。

进一步，实时识别系统及方法的中步骤(2)的具体过程为：

步骤(201)：训练参数初始化，载入预训练网络模型及权重(如mask_rcnn_R_50_FPN_3x)，设置分类类别为2；