[发明专利]一种基于MobileNetV2的焊接状态分类方法

说明书

一种基于MobileNetV2的焊接状态分类方法属于计算机视觉领域，本发明利用其基础特征提取结构单元，设计了熔池正、反面图像对双输入模式、不同特征层融合方式以及熔池双侧图像特征的张量融合方式，构造了一种基于MobileNetV2的焊接状态分类模型。本发明采用MobileNetV2特征提取结构代替普通卷积，在有效提取特征的同时又保证了模型的轻量化；本发明设计的浅层网络提取的特征与深层网络提取的特征在中间层进行融合，使得特征兼具熔池细节特征和轮廓特征；本发明采用张量融合操作将熔池两侧图像特征融合，使得网络依据熔池双侧信息决策焊接状态，使得模型对焊接状态分类具有更好的描述能力。

技术领域

本发明属于计算机视觉领域，具体涉及深度学习神经网络方法、图像特征提取等技术。

本发明针对焊接状态分类问题，提出了一种基于MobileNetV2的焊接状态分类方法。本发明采用MobileNetV2轻量级的基础结构单元对熔池正、反面图像对进行特征提取、融合及焊接状态分类。首先，本发明使用V2基础结构单元设计了熔池正、反面图像的特征提取网络模块提取特征；然后，在熔池正、反面图像的特征提取网络模块中设计了浅层特征的提取并与主干网络提取的(深层)特征进行融合；最后设计了熔池正、反面图像特征的特征融合用于焊接状态分类。本发明可用于对二维图像信号的分类识别等多种计算机视觉任务中。

背景技术

焊接作为结构制造的关键工序，是控制结构精度、密封性能(关重特性)、长寿命要求的核心过程。为了适应当今科学技术高速发展的要求，人工焊接已经满足不了时代的需要，所以既能解放人力又能在极端环境下作业的焊接机器人应运而生。

但自动焊接的过程并不是鲁棒的，焊枪位置变动、温湿度以及其他因素干扰都有可能影响焊接质量，所以在焊接过程中通过焊接数据实时预测焊接状态的任务至关重要。

视觉是一种较为理想的焊接状态分类检测方式，目前已经开展了大量的研究工作。但传统的方法大多是根据不同的焊接方法，利用相机的光谱响应或者图像处理算法来实现检测，但这种方式适用性小，不具有普适性。上世纪60年代，感知机(MultilayerPerceptron，MLP)网络的提出掀起了人们研究人工神经元网络的热潮。随后出现的BP人工神经网络因其具有任意复杂的模式分类能力和优良的多维函数映射能力，在焊接领域(如焊接接头质量预测与监控、焊接工艺参数设计、焊缝成形控制以及焊接缺陷的检测等方面)得到了广泛的应用。但其依然存在学习速度慢、容易陷入局部极小值和网络层数有限等问题。

卷积神经网络(Convolutional Neural Network，CNN)在图像分类和目标检测中发挥着出色的效能，卷积运算对图像的形状和细节具有强大的提取能力，能较好地处理焊接熔池图像微小的变化。但一般用于焊接状态检测的网络仅针对熔池单侧(熔池正面或者背面)图像提取特征，本发明耦合了熔池正、反面图像对的特征，使得网络对焊接状态的分类更加精准。

近年来随着人工智能的新一轮复兴，基于深度学习的计算机视觉技术飞速发展。2012年提出AlexNet轻松夺得2012年ILSVRC比赛的冠军，top5预测的错误率为16.4％，远超第二名。自此，大量的计算机视觉研究工作者都转向了深度学习，更多更深的神经网络被提出。在随后的几年中，VGG、ResNet等网络的逐渐被提出。

虽然理论上更深的网络模型具有更加强大的性能，但随着网络体积越来越大，结构越来越复杂，预测和训练需要的时间也逐步增多，硬件资源要求也越来越高。复杂的网络模型难以应用到嵌入式设备中，所以深度学习领域也在努力促使神经网络向小型化发展，在保证模型准确率的同时体积更小，速度更快。之后提出的MobileNet等轻量级网络模型，在保持了一定精度的要求下，模型更小。