[发明专利]基于深度神经网络的熔池轮廓检测方法

权利要求书

1.一种基于深度神经网络的熔池轮廓检测方法，其特征在于，包括如下步骤：

步骤1、建立熔池视觉传感系统，采集焊接时的熔池图像，裁去冗余背景，得到原始熔池图像集；

步骤2、基于步骤1得到的熔池图像制作其对应的分割标记样本，与原始熔池图像集构成熔池图片标记数据集；

步骤3、基于步骤2得到的熔池图片标记数据集，利用生成对抗网络DCGAN进行训练，生成与原始熔池图像相似的图像，与熔池图片标记数据集构成扩充的熔池图片标记数据集；

步骤4、对扩充的熔池图像标记数据集进行色彩学和形态学上的数据增广，放入语义分割网络中进行训练；

步骤5、利用步骤4中训练得到的语义网络网络模型提取熔池轮廓；

步骤4中，语义分割网络基于残差网络ResNet-50演变而来，首先利用ResNet-50网络对输入进行层层递进的卷积操作，获得不同尺度的特征图，然后根据式(1)操作得到原图尺寸大小相同的特征图，与标记样本计算损失函数；

其中D代表上采样操作，f_1/32表示卷积输出的基于原图1/32尺寸的特征，f_1/16表示卷积输出的基于原图1/16尺寸的特征；

语义分割网络的损失函数设计如式(2)所示：

其中E为softmax函数，i和j决定了像素是位于待分割前景区域f_g中还是背景区域b_g中，y_ij表示像素的二进制预测值，a为背景占图像的像素数比，b为前景占图像的像素数比。

2.根据权利要求1所述的基于深度神经网络的熔池轮廓检测方法，其特征在于，步骤1中，考虑到TIG焊接工艺下焊枪与工件接触处存在较大的弧光，为了抑制弧光对轮廓检测产生的不良影响，在相机镜头前布置了660nm的滤光片，以获取清晰的高质量图像。

3.根据权利要求1所述的基于深度神经网络的熔池轮廓检测方法，其特征在于，步骤2中，制作分割标记样本时，将需要分割的熔池区域用灰度为255的像素填充，背景区域用灰度为0的像素填充。

4.根据权利要求1所述的基于深度神经网络的熔池轮廓检测方法，其特征在于，步骤3中，首先按照设置的批量尺寸对原始熔池图像集的图像进行拼接，并依次送入生成对抗网络DCGAN中；然后在训练完毕后，利用生成的网络模型对原始熔池图像集的图像进行测试，生成按照批量尺寸拼接而成的生成图；接着将生成图剪裁成单张熔池图片，并筛选满足条件的熔池图片；最后根据新生成的熔池图像搜索对应的原图以及分割标记样本，共同构成扩充的熔池图像标记数据集。

5.根据权利要求1所述的基于深度神经网络的熔池轮廓检测方法，其特征在于，步骤4中，在将数据集放入Res-Seg网络进行训练之前，通过形态变化和色彩调整对熔池图像及其对应标记样本进行数据增广，具体步骤如下：

a、设置最大旋转角度、最大缩放比例值以及最大裁切长宽值；

b、生成0到1之间的随机浮点数M，以M为基准与最大旋转角度、最大缩放比例值以及最大裁切长宽值进行相乘操作，生成控制形态变化的随机浮点数，控制旋转、缩放、裁切操作；以2*M-1为基准与最大缩放比例值进行相乘操作，生成控制色彩变化的随机浮点数，控制亮度、饱和度、对比度、锐度、高斯模糊操作；

c、载入扩充的熔池图像标记数据集的熔池图像及其对应分割标记样本，执行旋转以及缩放操作，根据步骤b控制色彩变化的随机浮点数的正负判断是否进行裁切以及色彩转换操作，若为负，则不进行裁切和色彩转换操作，否则对图像以及标记样本进行裁切和色彩转换。