[发明专利]一种基于多光谱深度卷积神经网络的视觉缺陷检测方法

摘要

本发明为一种基于多光谱深度卷积神经网络的视觉缺陷检测方法，该方法用于光伏电池片外观缺陷检测，通过设计多光谱神经网络模型，加强了模型对多个光谱特征的提取的有效性和准确性，实现了特征与背景的去耦合；通过对缺陷在多个光谱中的表现特征进行分析，利用图像多光谱信息特征分离提取的方法，强化模型对多光谱图像信息特征的提取能力，对比于LBP+HOG‑SVM和Gabor‑SVM表面缺陷检测方法，设计的多光谱神经网络模型在三个指标(精度、召回率、F‑测度)上都提升10％左右，而且可以有效的解决电池片表面背景纹理复杂、缺陷特征多样、形状随机的问题，缺陷识别的准确率达到94.30％。

主权项

1.一种基于多光谱深度卷积神经网络的视觉缺陷检测方法，该方法用于光伏电池片外观缺陷检测，包括下述步骤：第一步，缺陷特征分析与数据集：1‑1图像获取：利用彩色相机采集图像，去除背景后获得彩色图片，该彩色图片作为原始数据集；1‑2特征分析：分析观察太阳能表面缺陷在不同光谱中的特征，得到崩边、粗线、断栅、划痕、漏浆、色差、脏片表面缺陷特征图；1‑3图像切割：在步骤1‑2的基础上，利用滑动分割法将步骤1‑1的原始数据集分割成小图片，该小图片作为目标图像；1‑4训练样本集、验证样本集、测试样本集制作：对步骤1‑3获得的目标图像进行人工分选，并添加标签，得到数据集，从数据集中随机抽取20％作为测试样本集，其余作为训练样本集、验证样本集，其中训练样本集与验证样本集的比例为4:1；第二步，多光谱神经网络模型搭建：2‑1信息分离：将数据集图片缩放，其次将数据集的彩色图像的红、绿、蓝三通道光谱信息进行分离，最后并列输入到多光谱神经网络模型的多光谱第一层中；2‑2多光谱特征提取层设计：多光谱神经网络模型的多光谱特征提取层共有并列的三个，每一个均包括多光谱第一层、多光谱第二层、多光谱第三层：将步骤2‑1分离后的三通道光谱信息并列输入到多光谱第一层中，多光谱第一层包括一个卷积层和一个最大池化层，步骤2‑1的输出为多光谱第一层的输入，输入数据分别经过一个卷积层和一个最大池化层，得到输出结果；多光谱第二层包括两个卷积层和一个最大池化层，多光谱第一层的输出作为多光谱第二层的输入，连续经过两个卷积层和一个最大池化层，得到输出结果；多光谱第三层包括两个卷积层和一个最大池化层：经过多光谱第三层中的卷积层和最大池化层输出特征结果Layer3_B、Layer3_R和Layer3_G；把这三个特征结果合并，得到合并输出结果特征；2‑3全连接层设计：将上述合并输出结果特征，作为本层的输入，经过标准化计算后，输入人工全连接神经网络层，得到输出结果；2‑4将步骤2‑3的输出结果输入Dropout层，并通过Softmax分类器进行分类，至此完成多光谱神经网络模型的搭建；第三步，图像分类及评估：3‑1开始训练：初始化权重，将步骤1‑4制作的测试样本集、训练样本集、验证样本集输入到第二步的多光谱神经网络模型中，完成多光谱神经网络模型的训练，获得图像的多维特征图，得到光伏电池图像多维输出特征值矩阵；3‑2K交叉验证：将步骤1‑4制作的数据集分割为5个子样本，保留单独一个子样本作为测试集，另外的4个样本作为训练集，再输入到训练后的多光谱神经网络模型中，实验进行5次，取五次的平均值作为最终的试验结果。