[发明专利]一种基于MobileNetV2的焊接状态分类方法

权利要求书

1.一种基于MobileNetV2的焊接状态分类方法，包括普通卷积层、MobileNetV2基础结构单元、池化层、全连接层、softmax层，其特征在于：采用熔池正、反面图像对作为输入，通过MobileNetV2基础结构作为特征提取单元提取特征，搭建了一个基于MobileNetV2的焊接状态分类模型；熔池单侧特征提取模块通过多个MobileNetV2基础结构对熔池单侧图像分别提取深、浅层特征，将其融合之后再进行特征提取得到熔池单侧特征；熔池正、反面图像特征的融合操作由张量融合完成，之后再通过MobileNetV2基础结构提取模块，从而使网络学习到更多熔池正、反面图像对特征的相关性；本网络模型的损失函数采用交叉熵损失函数，整个训练过程采用随机梯度下降法。

2.根据权利要求1所述的基于MobileNetV2的焊接状态分类方法，其特征在于：深层特征提取网络中，采用了多个直筒型特征提取结构、带快捷连接的特征提取结构和不带快捷连接的特征提取结构；初始特征图通过该网络模块不断压缩、提取特征得到包含熔池轮廓特征的深层特征图；浅层特征提取网络中依然采用MobileNetV2的基础结构进行浅层提取特征，在熔池浅层特征提取模块中仅采用尺度缩小的直筒型特征提取模块，不断地对输入特征图尺寸进行压缩；对此仅需堆叠基础特征提取模块即可得到包含熔池细节特征的浅层特征图；

在得到深层特征图和浅层特征图的基础上，设计将其通过通道拼接方式将深层熔池轮廓特征与浅层熔池细节特征聚合得到新的特征图，然后采用了一个卷积核为1x1的普通卷积层对新特征图处理，为了更好地将深层和浅层特征融合，接下来使用平均池化层将特征图降维成1维向量，最后再采用一个全连接操作进一步降低熔池单侧图像特征向量的维度；其中全连接降维时考虑到之后的张量积操作，该全连接层的输出维度选取为55；

熔池反面图像的特征提取网络与正面设置完全相同，所以熔池两侧图像分别通过深、浅层特征提取模块，聚合以及进一步提取特征后得到了代表熔池两侧状态的特征向量。

3.根据权利要求1所述的基于MobileNetV2的焊接状态分类方法，其特征在于：在得到熔池两侧图像的特征向量的基础上，选用张量积方式得到融合后的张量；h_x代表提取到的熔池正面特征，h_y表示提取到的熔池反面特征，则每一个(h_x,h_y)被视为是被[1 h_x]^T和[1h_y]^T所构造的二维笛卡尔坐标系下的点，其在数学上等价于h_x和h_y之间的外积：

其中表示向量之间的外积，h_m表示三个语义不同的亚区域的熔池两侧图像特征嵌入的所有可能组合的二维平面；首先两个子区域分别是来自熔池单侧图像特征的提取h_x和h_y，其次另一子区域捕获熔池两侧特征交互作用；

通过以上的张量融合操作之后，得到了一个高度融合了熔池两侧特征的张量；再将其送入由采样步长为2的特征提取模块和采样步长为1、不带快捷连接的特征提取模块交替堆叠组成的特征再提取结构，对融合后的张量进行压缩、整合，得到再提取的特征图，然后再通过一个平均池化层将特征图降维成多维特征向量，最后再通过全连接层和sofmax对特征向量进一步降维以及对焊接状态的决策。

4.根据权利要求1所述的基于MobileNetV2的焊接状态分类方法，其特征在于：采用全连接层和sofmax层对得到的多维特征向量进一步降维以及对焊接状态的分类；其中softmax的数学计算如下：

其中，e为自然常数，M表示熔池状态的类别数量，V表示经全连接层之后得到的三维向量，V_i表示V中的第i个元素，S_i表示的是这个元素的softmax值，j表示的是元素的个数；Softmax函数将三维的实数向量压缩成另一个三维的实数向量，其中向量中的每个元素取值都介于0与1之间，最后的softmax值也是网络对焊接状态预测的概率；

损失函数采用交叉熵损失函数，用来评估当前训练得到的概率分布与真实分布的差异情况，其刻画的是实际输出概率与期望输出概率的距离，也就是交叉熵的值越小，两个概率分布就越接近；其数学表示如下式：

其中，N表示样本数量；M表示熔池状态的类别数量；L_i表示第i个样本的损失函数值；q_i,j表示第i个观测样本的真实类别是否是j，是则为1，否则为0；p_i,j表示第i个观测样本属于类别j的预测概率；

训练方法采用随机梯度下降方法，最小化上述的损失函数；整个网络在自建的焊接熔池正、反面数据集上进行训练和测试；学习速率设为10^－2，动量参数设置为0.9，并采用3次损失不降则学习率减半的训练方法训练模型收敛较快，并设置10次损失不降则模型训练停止的早停条件；采用keras深度学习框架，共进行100次迭代，网络中所有参数均采用随机初始化；

在提出的焊接状态分类网络模型中，将网络模型所有模块的全部初始参数记作δ⁰，网络模型初始的分类预测值记作P⁰，初始损失函数输出值记作L⁰；则通过梯度下降算法之后，第一次更新的网络参数记作δ¹，第一次更新网络参数之后得到的分类预测值记作P¹，损失函数输出值记作L¹；再次通过梯度下降算法，第二次更新的网络参数记作δ²，第二次更新网络参数之后得到的分类预测值记作P²，损失函数输出值记作L²……，以此类推，网络参数会不断更新，损失函数输出值也会越来越小直至趋于稳定，此时将达到早停条件或者达到最大迭代次数，模型停止训练，将训练过程中得到的损失函数输出值最低的网络参数作为网络模型的最终参数，记作δ；则网络的训练过程如下：

1)随机初始化焊接状态检测网络参数δ⁰；

2)读入焊接熔池正、反面数据并进行预处理；

3)通过焊接状态检测网络计算得到类别预测值P⁰；

4)将类别预测值P⁰送入损失函数中计算得到损失输出值L⁰；

5)利用SGD训练模型并更新网络参数为δ¹，计算得到新的预测值P¹，通过损失函数得到损失输出值L¹；

6)利用SGD训练模型并更新网络参数为δ²，计算得到新的预测值P²，通过损失函数得到损失输出值L²；

7)重复步骤5)－6)直至模型达到早停条件或者达到迭代设置上限，则视为模型收敛停止训练，将损失函数输出值最低的网络参数作为模型的最终参数δ。