[发明专利]带角度估计的管线焊点深度学习视觉检测方法

权利要求书

1.一种带角度估计的管线焊点视觉检测方法，其特征在于，该方法包括以下步骤：

步骤S10，获取待检测焊点的连接管线场景图像，作为输入图像；

步骤S20，通过预训练的管线焊点检测模型检测所述输入图像中的连接管线上是否包含焊点，若包含，则输出焊点的类别、位置、尺寸及旋转角度；位置即焊点的几何中心坐标；

所述管线焊点检测模型基于深度神经网络构建，其训练方法为：

A10，获取训练样本图像及其包含的焊点类别、位置、尺寸及旋转角度的真值标签；所述训练样本图像为包含焊点的连接管线场景图像；

A20，将所述真值标签对应的焊点的几何中心沿着图像坐标系U轴和V轴以设定长度δ将训练样本图像划分为二维体素网格，并获取所述焊点的几何中心在体素坐标系的归一化坐标以及在体素中心的局部坐标系的归一化坐标；

A30，将所述真值标签对应的焊点的几何中心的设定角度范围以单位大小ω均匀划分，获取管线切线方向与U轴的角度所在的区间；将所述真值标签对应的焊点尺寸进行聚类，聚类后，获取焊点沿所在切线方向、垂直方向的长度与最接近的聚类中心尺寸的对数比例因子；

A40，将所述训练样本图像输入所述管线焊点检测模型，获取所述训练样本图像中焊点的类别、位置、尺寸及旋转角度的预测标签；

A50，通过步骤A30的聚类方法获取所述尺寸预测标签对应的对数比例因子；并通过步骤A20的方法得到所述预测标签中焊点的位置在体素坐标系的归一化坐标、在体素中心的局部坐标系的归一化坐标；

A60，计算步骤A20、步骤A50获取的焊点的位置在体素坐标系的归一化坐标、在体素中心的局部坐标系的归一化坐标以及对数比例因子之间损失，并对所述管线焊点检测模型进行参数更新；

A70，循环执行步骤A10-A60，直至得到训练好的管线焊点检测模型。

2.根据权利要求1所述的带角度估计的管线焊点视觉检测方法，其特征在于，步骤A10与步骤A20之间还包括训练样本图像预处理的步骤：

预处理方式包括：对训练样本图像进行尺寸、平移、弹性变换、翻转几何空间变换，随机放置掩码，目标层级的亮度、对比度、饱和度颜色空间增强，图像拼接数据增强。

3.根据权利要求1所述的带角度估计的管线焊点视觉检测方法，其特征在于，所述步骤A60中损失的计算方法为：

其中，L_ce表示交叉熵损失，L_smooth-L1表示smooth-L1损失，L表示总损失，分别表示真实标签对应的焊点的几何中心的在体素坐标系的归一化坐标、在体素中心的局部坐标系的归一化坐标；表示预测标签对应的焊点的几何中心在体素坐标系的归一化坐标、在体素中心的局部坐标系的归一化坐标，分别表示焊点尺寸与之最相似的聚类中心尺寸的真实和预测的对数因子，表示回归损失，表示分类损失。

4.根据权利要求1所述的带角度估计的管线焊点视觉检测方法，其特征在于，所述步骤A30中设定角度范围为

5.根据权利要求1所述的带角度估计的管线焊点视觉检测方法，其特征在于，所述焊点的几何中心与其在体素坐标系的归一化坐标、在体素中心的局部坐标系的归一化坐标的对应关系为：

u＝(reg_u+0.5+bin_u)*δ

v＝(reg_v+bin_v+0.5)*δ

其中，reg_u、reg_v分别表示焊点的几何中心(u，v)在体素坐标系上的归一化坐标，bin_u、bin_v分别表示在焊点的几何中心在体素中心的局部坐标系的归一化坐标，δ表示均匀体素网格的大小。