[发明专利]一种图像与时序数据融合的焊接缺陷检测方法及系统

说明书

本发明公开了一种图像与时序数据融合的焊接缺陷检测方法及系统，该检测方法包括：首先构建焊缝图像异常检测模型，然后同步采集焊接过程中的焊缝图像和电流电压等时序数据，通过焊缝图像异常检测模型实时判断焊接异常，并将异常图片回传，由此确定异常时间段以及缺陷类别，自动给时序数据打标注，积累足够多的时序标注信息后，构建有监督的时序焊接缺陷检测模型；之后仅运行该时序缺陷检测模型进行焊接缺陷的实时检测。本发明通过图像异常检测算法实时检测焊接过程中的异常，并对时序数据打标注，让时序数据的高效标注成为可能，由此基于大量真实工业场景下的时序标注信息，进行实时准确的缺陷检测，可极大的降低成本，具有较高的实用性。

技术领域

本发明涉及一种图像与时序数据融合的焊接缺陷检测方法及系统，属于自动化焊接技术领域。

背景技术

目前，有超过200亿台物联网设备投入使用，物联网设备通过各种传感器收集数据，构成了新数据的最大来源之一，物联网数据实际上可以被视为大数据的缩影。大量的物联网应用需要使用有监督的机器学习，这一类机器学习算法，需要在训练模型之前标记数据。由于手动标记大型数据集是一项耗时、容易出错且成本高昂的任务，因此机器学习专业人员通常会先从标记的开源数据集开始，或者从少量数据开始标记。然而物联网数据的困难来自于它的特殊性：因为这些数据通常是独一无二的，所以不能保证现有的开源数据集是随时可用的，因此工程师必须标记自己的数据，但是，由于物联网数据的可变性，标记一个小的随机样本可能是不够的。因此，目前物联网数据AI应用的最大困境就是数据标记问题。

智能焊接作为物联网的重要组成部分之一，焊接缺陷检测这一物联网应用同样面临数据难以标注的困境。尤其是电流电压等时序焊接数据，在实际的工业场景中，几乎是无法标注。目前的常规做法是做控制实验，人工制造异常数据，然后记录下焊接缺陷的开始时间和结束时间，这种数据标注方法不仅耗时耗力，而且在实用性上存在很大局限：一方面实验室数据和真实工业场景之间还是有所差距的，另一方面实验室得到的数据是小样本的，真实的工业数据量是巨大的。

专利CN202010993829.1公开了一种时序数据异常标注的方法、系统及相关组件，该方法首先采集系统运行的性能数据，然后利用无监督式机器学习算法和有监督式机器学习模型结合对性能数据进行判定。因此其本身仍然需要一个有监督的时序模型辅助判定，而这个有监督的时序模型仍然需要大量有标注的时序数据来训练得到。

发明内容

发明目的：针对现有技术所存在的问题，本发明提供一种图像与时序数据融合的焊接缺陷检测方法及系统，通过焊缝图像异常检测模型对同步采集的电流电压等时序数据进行缺陷标注，从而高效地完成焊接时序数据的标注以及时序缺陷检测模型的构建。

技术方案：为实现上述目的，本发明提供一种图像与时序数据融合的焊接缺陷检测方法，包括以下步骤：

步骤1：基于历史的焊缝图像数据，构建图像异常检测模型；

步骤2：同步采集设定时长的焊缝图像和时序数据，通过图像异常检测模型判断焊缝图像是否存在异常，由此确定焊接异常的发生时间段以及焊接缺陷的具体类别，并为对应的时序数据打标注；

步骤3：根据有标注的时序数据，构建有监督的时序缺陷检测模型，而后通过该时序缺陷检测模型进行焊接缺陷的实时检测。

在同步采集焊缝图像和时序数据一段时间（例如3个月）之后，就可以积累足够多的时序标注信息，来构建有监督的时序焊接缺陷检测模型；而后仅运行该有监督的时序缺陷检测模型进行焊接缺陷的实时检测，并撤走相机，移到下一台焊机上重复此操作，以此类推。本发明提出的方法让时序数据的高效标注成为可能，由此得到基于大量真实工业场景下的时序标注信息，进一步定义特征、构建模型，来做焊接缺陷实时准确的检测。在焊机数量较多时，可极大的降低成本，具有较高的实用性和商业应用价值。

进一步的，所述步骤1具体包括：