[发明专利]基于穿孔熔池图像和深度学习的VPPAW熔透原位实时监测系统

权利要求书

1.一种基于穿孔熔池图像和深度学习的VPPAW熔透原位实时监测系统，构建基于离线学习-在线检测的运行模式，主要由三个独立线程构成：主线程-视觉图像采集及预处理、分线程1-深度学习模型训练及调试和分线程2-工业部署及熔透实时预测；

所述主线程-视觉图像采集及预处理包括如下步骤：

A1：搭建主要由高分辨率工业焊接相机和复合滤光技术集成的正面穿孔熔池视觉传感系统；

A2：开展一系列不同焊接参数下的铝合金VPPAW立焊工艺试验，并采集能够反映穿孔熔池形态的视觉图像，以背面焊缝宽度W_b为定量评价指标，标记穿孔熔池图像对应的焊接熔透状态，以获取不同熔透状态下的穿孔熔池原始图像数据集；所述焊接熔透状态包括：未熔透，部分熔透，完全熔透和过熔透；

A3：对原始图像数据集中的原始图像进行ROI区域裁剪和数据增强；

A4：根据穿孔熔池形态和焊接熔透状态对步骤A3处理后的图像进行标签，得到预处理后的图像数据集；

所述子线程1-深度学习模型训练及调试在高性能计算机配置的GPU环境下，利用Python编写的Tensorflow开源框架完成，具体包括如下步骤：

B1：将预处理后的图像数据集中的穿孔熔池图像直接作为输入，标签作为输出，以经典AlexNet网络为架构，构建包含1个输入层、4个卷积层、4个池化层、2个全连接层和1个softmax输出层的卷积神经网络CNN，用于预测焊接熔透状态；

B2：将预处理后的图像数据集按7：3随机分为训练集和测试集，对卷积神经网络CNN分别进行训练和测试，并调试得到优化后的CNN权重系数和网络结构参数；具体过程为：

B2.1：初始化网络结构参数，即卷积层的卷积核尺寸，并输入训练集中的穿孔熔池图像；

B2.2：连续进行4次卷积-池化层操作，采用ReLu激活函数和最大池化Max-pooling下采样，得到输出特征图，并提取反映穿孔熔池形态的深度抽象特征；

B2.3：将生成的输出特征图转换为一维向量，然后依次输入到2个全连接层和softmax输出层，并利用交叉熵损失函数评判预测值与真实值的偏差程度；

B2.4：通过动量随机梯度下降优化算法SGDM不断更新CNN权重系数，从而最小化损失函数值，最终完成CNN模型训练过程并保存训练模型；

B2.5：将测试集输入训练好的CNN模型，当准确率超过95％时，符合测试要求，则将CNN模型参数及网络结构保存至协议缓冲PB文件；当准确率不超过95％时，则返回步骤B2.1，重新修改卷积核尺寸，重复进行B2.2～B2.4的训练步骤，再采用测试集进行测试，直至满足准确率超过95％的条件为止，完成PB文件保存；

所述分线程2-工业部署及熔透实时预测的过程包括：先按照主线程-视觉图像采集及预处理中的铝合金VPPAW立焊工艺试验进行穿孔熔池状态的图像采集；再将实时采集的每一帧图像输入基于C#WinForm界面框架的实时预测上位机中对VPPAW焊接质量的原位实时监测；所述实时预测上位机包括深度学习配置区、相机实时显示窗口区、ROI显示窗口区和质量实时预测窗口区；在工控机配置的CPU环境下，实时预测上位机中的深度学习配置区利用Tensorflow.NET库完成子线程1-深度学习模型训练及调试中保存的PB文件的读取调用。

2.根据权利要求1所述的一种基于穿孔熔池图像和深度学习的熔透原位实时监测系统，其特征在于，高分辨率工业焊接相机拍摄的穿孔熔池图像的分辨率为1280像素×1024像素，高分辨率工业焊接相机为CMOS黑白工业相机。

3.根据权利要求1所述的一种基于穿孔熔池图像和深度学习的熔透原位实时监测系统，其特征在于，所述一系列不同焊接参数下的铝合金VPPAW立焊工艺试验是指在线性增加正负极焊接电流值和等离子气流量，且保持其他参数不变的情况下进行的工艺试验，用于获得单道焊缝上连续变化的熔透状态。