[发明专利]一种图像与时序数据融合的焊接缺陷检测方法及系统

权利要求书

1.一种图像与时序数据融合的焊接缺陷检测方法，其特征在于，包括以下步骤：

步骤1：基于历史的焊缝图像数据，构建图像异常检测模型；

步骤2：同步采集设定时长的焊缝图像和时序数据，通过图像异常检测模型判断焊缝图像是否存在异常，由此确定焊接异常的发生时间段以及缺陷类别，并为对应的时序数据打标注；

步骤3：根据有标注的时序数据，构建有监督的时序缺陷检测模型，而后通过该时序缺陷检测模型进行焊接缺陷的实时检测；

所述步骤1具体包括：

步骤1.1：将正常焊缝的图像按照设定窗长进行采样，构造数据集DataSet；

步骤1.2：从DataSet中随机选取设定比例的数据构建AutoEncoder模型，其中Latent层的数据维度为dim，取Latent层数据求均值Latent_mean并做零值处理，即可得到DeepSVDD模型的超球体球心C；

步骤1.3：搭建ResNet+FPN网络作为DeepSVDD模型的特征提取器，确保特征提取器的输出维度为dim，利用DataSet中剩下的数据来训练DeepSVDD模型，确定DeepSVDD模型的超球体半径R；

所述步骤2中焊缝图像和时序数据的同步采集过程包括：

步骤2.1：焊接开始时，获取第一条时序数据对应的时间戳，记为t1；

步骤2.2：将实时采集的图像信息从当前时间戳开始向前滑窗，获取设定长度的图像信息；

步骤2.3：将获取的图像转换为灰度图，并对灰度图进行二值化，得到二值化图像；

步骤2.4：计算二值化图像中值为0像素点个数与值为255像素点个数的比值，当比值大于阈值th2时，则采集到的图像中第一次出现焊缝，记下对应的时间戳t2；

步骤2.5：记补偿时间Δt=t2-t1，由此将当前时刻的图像数据与Δt之前的时序数据对齐。

2.根据权利要求1所述的一种图像与时序数据融合的焊接缺陷检测方法，其特征在于，所述步骤1.2中的零值处理过程具体包括：将Latent_mean中绝对值小于设定值的负值数据替换为-0.1，并将Latent_mean中绝对值小于设定值的正值数据替换为0.1。

3.根据权利要求1所述的一种图像与时序数据融合的焊接缺陷检测方法，其特征在于，所述步骤2中图像异常检测模型的异常判断过程具体包括：通过训练后的DeepSVDD模型对输入的焊缝图像进行推理，记DeepSVDD模型的输出向量为y，如果|y-C|≤R，则判定焊缝图像正常，否则为异常。

4.根据权利要求1所述的一种图像与时序数据融合的焊接缺陷检测方法，其特征在于，所述步骤2中时序数据的标注过程包括：

步骤3.1：根据图像异常检测模型的判断结果，获取存在异常的焊缝图像；

步骤3.2：根据存在异常的焊缝图像，通过人工辅助精确判定焊接缺陷的开始时间、结束时间以及缺陷类别；

步骤3.3：根据判定结果给对应时间段的时序数据打标注。

5.一种图像与时序数据融合的焊接缺陷检测系统，其特征在于，包括用于采集焊缝图像数据的第一数据采集模块、用于采集焊接时序数据的第二数据采集模块和数据处理模块；

首先通过第一数据采集模块、第二数据采集模块同步采集设定时长的焊缝图像和时序数据，同时数据处理模块通过基于历史焊缝图像数据所构建的图像异常检测模型，来判断第一数据采集模块所采集的焊缝图像是否存在异常，由此确定焊缝异常的发生时间段以及焊接缺陷的具体类别，并为对应的时序数据打标注，进而根据有标注的时序数据，构建有监督的时序缺陷检测模型；

而后拆除第一数据采集模块，仅通过第二数据采集模块实时采集焊接过程中的时序数据，同时数据处理模块利用所构建的时序缺陷检测模型，根据第二数据采集模块采集的时序数据进行焊接缺陷的实时检测；

所述图像异常检测模型的构建方法包括：

步骤1.1：将正常焊缝的图像按照设定窗长进行采样，构造数据集DataSet；

步骤1.2：从DataSet中随机选取设定比例的数据构建AutoEncoder模型，其中Latent层的数据维度为dim，取Latent层数据求均值Latent_mean并做零值处理，即可得到DeepSVDD模型的超球体球心C；

步骤1.3：搭建ResNet+FPN网络作为DeepSVDD模型的特征提取器，确保特征提取器的输出维度为dim，利用DataSet中剩下的数据来训练DeepSVDD模型，确定DeepSVDD模型的超球体半径R；

所述焊缝图像和时序数据的同步采集过程包括：

步骤2.1：焊接开始时，获取第一条时序数据对应的时间戳，记为t1；

步骤2.2：将实时采集的图像信息从当前时间戳开始向前滑窗，获取设定长度的图像信息；

步骤2.3：将获取的图像转换为灰度图，并对灰度图进行二值化，得到二值化图像；

步骤2.4：计算二值化图像中值为0像素点个数与值为255像素点个数的比值，当比值大于阈值th2时，则采集到的图像中第一次出现焊缝，记下对应的时间戳t2；

步骤2.5：记补偿时间Δt=t2-t1，由此将当前时刻的图像数据与Δt之前的时序数据对齐。