[发明专利]基于旋转区域候选网络的焊缝自主识别方法

摘要

本发明公开了一种基于旋转区域候选网络的焊缝自主识别方法，将焊缝识别的四大主要步骤（图像预处理、阈值分割、识别焊缝、拟合焊缝）整合在一个深度神经网络下，对复杂场景下的多类型焊缝，实现了准确、快速、端到端的识别。网络的核心在于针对焊缝方向特征的区域候选网络，通过引入网络中锚点框的倾角参数，消除了水平候选区域带来的歧义。

主权项

1.一种基于旋转区域候选网络的焊缝自主识别方法，包括离线训练阶段和在线检测阶段，所述的离线训练阶段包括以下步骤：S1：人工控制载具，利用机载相机从不同位置拍摄焊缝视频，并间隔固定帧数截取视频画面；S2：使用带有倾角的矩形框标注图像中的焊缝，记录矩形框的中心坐标、长宽和与水平方向的夹角共5个参数，并将数据集随机划分为训练集与测试集；S3：将图像与对应的焊缝信息输入网络，通过特征提取层计算得原始图像对应的特征图；S4：在特征图上使用滑窗创建一系列的锚点框，在同一位置有尺寸、长宽比和倾角不同的多个锚点框，作为候选区域；S5：计算各个候选区域和人工标注的真实焊缝矩形框之间的差异，保留重叠比例较大的部分；S6：将保留下的候选区域与特征图共同输入兴趣区域池化网络，计算各个候选区域的分数，并通过边界回归网络优化候选区域的中心坐标、长宽和与倾角；S7：获得训练后的神经网络，并保存网络参数；所述的在线检测阶段包括以下步骤：S8：输入相机图像信号，依据计算机运算性能和载具行进速度间隔固定帧数截取画面；S9：加载预先训练好的网络参数，向神经网络逐张输入图像；S10：通过特征提取层计算得原始图像对应的特征图；S11：基于预先训练的参数，在特征图上创建一系列的锚点框，作为候选区域；S12：通过非极大值抑制，保留重叠面积最多的部分候选区域；S13：将保留下的候选区域与特征图共同输入兴趣区域池化网络，计算各个候选区域的分数，并通过边界回归网络优化候选区域的中心坐标、长宽和与倾角；S14：输出分数最高的候选区域的外形轮廓及位置信息，提供给载具的运动控制设备，并将该候选区域标注在视频画面中，作为焊缝区域的检测结果。