[发明专利]一种锌渣图像识别及分类方法

权利要求书

1.一种锌渣图像识别与分类方法，其特征在于，拍摄锌锅现场图片，通过视觉技术识别锌渣图片的锌渣特征，并对锌渣图片进行分类；具体包括以下操作步骤：

步骤1：锌锅现场图片的采集和预处理，对图片进行去噪，并提取感兴趣区域；

步骤2：将预处理后的图片切割成小块图片，并标上序号；其中，依据捞渣机器人执行机构的尺寸a×b(cm)以及锌锅捞渣区域的大小M×N(cm)，换算得到每次捞渣对应的图片大小为像素；将拍摄的包括厚渣和薄渣的原图片进行等分切割，共得到张小块图片，将小块图片保存到磁盘中；

步骤3：将切割后的小块图片制作为训练集、验证集和测试集，采用灰度共生矩阵方法将图片分为厚渣和薄渣两类，制作训练集、验证集和测试集；

步骤4：采用卷积神经网络对训练集进行训练并测试卷积神经网络性能；

步骤5：利用训练好的卷积神经网络对锌锅现场捞渣区进行锌渣的实时识别与分类。

2.根据权利要求1所述的锌渣图像识别与分类方法，其特征在于步骤1中对锌渣图片的预处理包括以下步骤：

取锌锅现场捞渣区域的彩色图片数千张并保存，每张图片像素为X×Y；

若图像内存在噪点，首先对图片进行高斯平滑去噪；

采用设置掩膜的方法对图片进行感兴趣区域ROI提取，减少捞渣区域以外的干扰。

3.根据权利要求1所述的锌渣图像识别与分类方法，其特征在于步骤2中将切割得到的张小块图片依次标好序号作为文件名进行保存。

4.根据权利要求1或3所述的锌渣图像识别与分类方法，其特征在于步骤3中将切割后的小块图片制作为训练集、验证集和测试集按以下步骤进行：

人工选取张小块图片中的厚渣和薄渣样本各若干张，将厚渣和薄渣这若干张图片都灰度化，计算每张图片的灰度共生矩阵：先计算图片在不同方向上的5种纹理特征值：能量、对比度、逆差矩、熵、自相关，然后串联所有特征值来构建一维特征向量作为图像的灰度共生矩阵特征；将此特征输入到SVM分类器来进行训练；

根据SVM分类器来制作数据集，输入步骤2中保存的所有小块图片，得到所有小块图片的分类结果，按比例将其划分为训练集、验证集和测试集。

5.根据权利要求4所述的锌渣图像识别与分类方法，其特征在于步骤3中人工选取张小块图片中的厚渣和薄渣样本各100张。

6.根据权利要求1所述的锌渣图像识别与分类方法，其特征在于所述步骤4中采用卷积神经网络对训练集进行训练并测试性能的步骤如下：

在卷积神经网络训练的过程中使用验证集，几个epoch结束后，跑一次验证集看分类准确率，若分类准确率高于95％，保存卷积神经网络的网络模型，停止训练；否则，调整超参数，并将验证集中分类结果“存疑”的小块图片二次分类；

二次分类的过程为：卷积神经网络分类的结果根据softmax层给出，向量内所有值加起来的和为1，在二次分类中，若softmax层输出的标签向量内某一项大于0.5，则判断分类结果为那一类，若两项差别小于0.2，即较大的那一项值小于0.6，则认为这张图片存在疑问，将其标记为“doubt”并输出；

将二次分类后的图片制作为训练集输入卷积神经网络进行训练，多次使用验证集来调整网络的超参数，并验证网络的泛化性能，直到网络达到较好的分类效果；

调试结束后，保存最终的卷积神经网络参数模型，输入测试集图片，输出测试集的分类准确度，若高于95％，则判定此网络可投入实际生产。

7.根据权利要求1所述的锌渣图像识别与分类方法，其特征在于步骤4中采用卷积神经网络来对锌渣图片进行训练，首先要对图片进行数据预处理，采用resize函数更改图片维度，并将图片格式由.jpg转换为h5py。

8.根据权利要求1所述的锌渣图像识别与分类方法，其特征在于步骤4中将预处理后的数据输入卷积神经网络进行训练，训练程序运行的环境是win10专业版，python3.6，tensorflow-gpu1.12.0，keras2.2.4。

9.根据权利要求1所述的锌渣图像识别与分类方法，其特征在于所述步骤5中，利用训练好的卷积神经网络对锌锅现场捞渣区进行锌渣的实时识别与分类，具体包括以下步骤：

取工业相机实时拍摄的一帧锌锅现场图片，预处理后将该锌锅现场图片切割为小块图片，小块图片的大小为像素，该锌锅现场图片进行等分切割后共得到张小图片；

将切割后的小图片输入到训练好的卷积神经网络中分类，网络输出每张图片的类别，分类结果给出某一时刻锌锅图片的厚渣和薄渣分布信息。