[发明专利]一种基于多光谱深度卷积神经网络的视觉缺陷检测方法

权利要求书

1.一种基于多光谱深度卷积神经网络的视觉缺陷检测方法，该方法用于光伏电池片外观缺陷检测，包括下述步骤：

第一步，缺陷特征分析与数据集：

1-1图像获取：利用彩色相机采集图像，去除背景后获得彩色图片，该彩色图片作为原始数据集；

1-2特征分析：分析观察太阳能表面缺陷在不同光谱中的特征，得到崩边、粗线、断栅、划痕、漏浆、色差、脏片表面缺陷特征图；

1-3图像切割：在步骤1-2的基础上，利用滑动分割法将步骤1-1的原始数据集分割成小图片，该小图片作为目标图像；

1-4训练样本集、验证样本集、测试样本集制作：对步骤1-3获得的目标图像进行人工分选，并添加标签，得到数据集，从数据集中随机抽取20％作为测试样本集，其余作为训练样本集、验证样本集，其中训练样本集与验证样本集的比例为4:1；

第二步，多光谱神经网络模型搭建：

2-1信息分离：将数据集图片缩放，其次将数据集的彩色图像的红、绿、蓝三通道光谱信息进行分离，最后并列输入到多光谱神经网络模型的多光谱第一层中；

2-2多光谱特征提取层设计：多光谱神经网络模型的多光谱特征提取层共有并列的三个，每一个均包括多光谱第一层、多光谱第二层、多光谱第三层：将步骤2-1分离后的三通道光谱信息并列输入到多光谱第一层中，多光谱第一层包括一个卷积层和一个最大池化层，步骤2-1的输出为多光谱第一层的输入，输入数据分别经过一个卷积层和一个最大池化层，得到输出结果；

多光谱第二层包括两个卷积层和一个最大池化层，多光谱第一层的输出作为多光谱第二层的输入，连续经过两个卷积层和一个最大池化层，得到输出结果；

多光谱第三层包括两个卷积层和一个最大池化层：经过多光谱第三层中的卷积层和最大池化层输出特征结果Layer3_B、Layer3_R和Layer3_G；

把这三个特征结果合并，得到合并输出结果特征；

2-3全连接层设计：将上述合并输出结果特征，作为本层的输入，经过标准化计算后，输入人工全连接神经网络层，得到输出结果；

2-4将步骤2-3的输出结果输入Dropout层，并通过Softmax分类器进行分类，至此完成多光谱神经网络模型的搭建；

第三步，图像分类及评估：

3-1开始训练：初始化权重，将步骤1-4制作的测试样本集、训练样本集、验证样本集输入到第二步的多光谱神经网络模型中，完成多光谱神经网络模型的训练，获得图像的多维特征图，得到光伏电池图像多维输出特征值矩阵；

3-2K交叉验证：将步骤1-4制作的数据集分割为5个子样本，保留单独一个子样本作为测试集，另外的4个样本作为训练集，再输入到训练后的多光谱神经网络模型中，实验进行5次，取五次的平均值作为最终的试验结果。

2.根据权利要求1所述的基于多光谱深度卷积神经网络的视觉缺陷检测方法，其特征在于，所述原始数据集的图片大小为1868×1868；小图片尺寸为469*469；数据集图片缩放后的尺寸为256×256×3。

3.根据权利要求1所述的基于多光谱深度卷积神经网络的视觉缺陷检测方法，其特征在于，人工全连接神经网络层的深度为2，宽度为256。

4.根据权利要求1所述的基于多光谱深度卷积神经网络的视觉缺陷检测方法，其特征在于，在训练过程中权重会不断优化，多光谱神经网络模型利用输出与标签之间的差值来反向控制网络权重的变化，利用随机梯度下降来求解多光谱神经网络模型反向传播的最优值。