[发明专利]一种基于在线序列极限学习机的铜板带表面缺陷检测方法

摘要

基于在线序列极限学习机的铜板带表面缺陷检测方法，包括以下步骤：通过图像采集模块获取到铜板带表面的图像；采用掩模大小为7×7的中值滤波方法对采集的铜板带表面图像进行增强以减少所含噪声，降低噪声对表面图像质量的影响；对铜板带表面图像进行顶帽变换处理，减少光照不均匀性的影响；采用基于8邻域差值的铜板带表面图像预检方法；对预检后判断为存在表面缺陷的铜板带表面图像，采用一种图像分割方法分割出表面图像中的缺陷；提取各缺陷的几何、灰度、形状、纹理等特征，并采用主成分分析方法对铜板带表面缺陷特征维数进行优化降维处理；设计基于在线序列极限学习机的铜板带表面缺陷分类器，并利用样本进行训练；提取待检测铜板带表面图像的特征，识别出表面缺陷的类型。

主权项

1.一种基于在线序列极限学习机的铜板带表面缺陷检测方法，包含如下步骤：1）通过图像采集模块获取到铜板带表面的图像；2）采用掩模大小为7×7的中值滤波方法对采集的铜板带表面图像进行增强以减少所含噪声，降低噪声对表面图像质量的影响；3）对铜板带表面图像进行顶帽变换处理，减少光照不均匀性的影响；4）为提高检测效率，本发明中提出了一种基于8邻域差值的铜板带表面图像预检方法，它能快速的检测出铜板带表面图像是否含有缺陷，具体地，对每一帧表面图像进行预检包括如下步骤：4.1：对顶帽变换之后的图像做灰度化处理：f(i,j)=(299R_(i,j)+578G_(i,j)+114B_(i,j))/1000其中，f(i,j)表示像素(i,j)的灰度值,i=0,1,2,…,M-1,j=0,1,2,…,N-1,M和N分别为图像的宽和高，单位为像素；R_(i,j)、G_(i,j)和B_(i,j)分别为彩色图像对应像素(i,j)的红色、绿色和蓝色分量值；4.2：用3×3大小的算子逐行扫描灰度图像中的每一个像素点P，以该点为中心，对其周围的3×3的8邻域进行计算，通过计算像素点P的上下两行、左右两列的对应像素点的灰度值的差，得出新的灰度值P′：P′=(|P1-P7|+|P2-P6|+|P3-P5|)+(|P1-P3|+|P8-P4|+|P7-P5|)6]]>其中，P_i（i=1,2,…,8）表示P的8邻域像素的灰度值，P₁为8邻域左上角的点，其余的按顺时针方向围绕着P点顺序编号；4.3：统计P′的直方图，计算直方图的峰值个数δ，如果该数目大于设定的阈值δ₀，则表明图像存在表面缺陷；否则，是无缺陷图像。4.4：阈值δ₀是通过计算无缺陷铜板带表面图像获得，为了提高检测的精确度，计算多帧无缺陷图像的平均值获得δ₀，同时随着检测时间而自适应的调整阈值δ₀，具体的调整方法如下：δ₀=0.8*δ₁+0.2*δ₂其中，δ₁为新获得的阈值，δ₂为前一个使用的阈值。5）对预检后判断为存在表面缺陷的铜板带表面图像，采用一种图像分割方法分割出表面图像中的缺陷，具体步骤如下：5.1：获取连续两帧铜板带表面图像，计算第一帧和第二帧图像的梯度直方图，且对每一帧进行基于8邻域差值的预检处理；5.2：若第一帧为无缺陷图像且第二帧是含有缺陷的图像，则通过第一帧图像的梯度直方图，累积计算梯度幅值的像素数目κ，当κ大于图像像素总数的99%时的梯度幅值记为Τ，则第二帧图像的Canny边缘检测时的高阈值Τ_h、低阈值Τ_l的计算方法如下：Τ_h=ΤΤ_l=0.4*Τ_h第二帧图像经过Τ_h选择和Τ_l连接的Canny边缘检测后，缺陷区域内会存在少量的假边缘，但是铜板带表面图像的背景区域中出现的假边缘会被过滤，单个缺陷的最外层的真实边缘会被保留，该边缘所包围的区域即为被分割出的表面缺陷；5.3：若第一帧和第二帧均为无缺陷图像，则后续表面缺陷图像的Canny边缘检测和连接时的高阈值Τ_h的计算方法如下：Τ_h=Τ_f其中，Τ_f为计算第二帧图像的梯度直方图获取的高阈值；5.4：若第一帧为无缺陷图像且第二帧是含有缺陷的图像，则后续表面缺陷图像的Canny边缘检测和连接时的高阈值Τ_h的计算方法如下：Τ_h=Τ_w其中，Τ_w为第一帧无缺陷的表面图像的梯度直方图获取的阈值；5.5：若第一帧为有缺陷或两帧均为有缺陷的表面图像，则利用已保存的阈值Τ_h作为所需要的Canny边缘检测和连接的高阈值。6）提取各缺陷的几何、灰度、形状、纹理等特征，并采用主成分分析方法对铜板带表面缺陷特征维数进行优化降维处理，具体步骤如下：6.1：提取各表面缺陷的特征数据，如下：几何特征之表面缺陷区域边界的长度T₁：其中，N_e和N_o分别表示边界链码中偶步和奇步的像素数目；几何特征之面积T₂，即表面缺陷边界和区域内的像素个数：T2=Σx=1NΣy=1MR(x,y)]]>通过灰度图像中各像素的灰度值，可以获得图像的像素概率分布，形成图像的直方图特征，灰度直方图的计算如下：p(b)=NbM,b=0,1,...,L-1]]>其中，b为灰度图像的量化级，共L（1≤L≤256）级。p(b)表示第b级出现的概率，N_b表示灰度值为b的像素数，M表示像素的总数；灰度特征之均值T₃：灰度特征之方差T₄：其中表示所有像素的平均灰度值；灰度特征之歪度T₅：T5=1T43Σb=0L-1(b-b‾)3p(b);]]>灰度特征之峭度T₆：T6=1T44Σb=0L-1(b-b‾)4p(b)-3;]]>灰度特征之能量T₇：灰度特征之熵T₈：T8=-Σb=0L-1p(b)log2(p(b));]]>形状特征之面积比T₉：其中A表示表面缺陷的像素面积，S表示铜板表面图像的像素面积；形状特征之宽高比T₁₀：其中，W和L分别为缺陷的最小外接矩形的像素宽和像素长；形状特征之线性度T₁₁：其中，P表示缺陷的边界周长，单位为像素；形状特征之矩形度T₁₂：其中，A_R表示缺陷的最小外接矩形的像素面积；形状特征之圆形度T₁₃：不变矩是描述表面缺陷区域的方法之一，它反映表面缺陷的几何矩特性，并且对表面缺陷的旋转、尺度变化和镜像不敏感，缺陷区域D的(i,j)阶几何矩为：其中，点(x,y)是缺陷区域D的内点或边界点，i=0,1,2,…,j=0,1,2,…；缺陷区域D的中心矩定义为：为缺陷区域D的重心坐标，其中M₁₀和M₀₁是缺陷区域的1阶几何矩，M₀₀是缺陷区域的0阶几何矩；中心矩μ_ij虽然对区域平移具有不变性，但对旋转和尺度变化依然敏感，可通过对μ_ij进行归一化得到尺度的不变性，计算如下：形状特征之7个不变的归一化中心矩组合T₁₄-T₂₀：T₁₄=η₂₀+η₀₂T15=(η20-η02)2+4η112]]>T₁₆=(η₃₀-3η₁₂)²+(3η₂₁-η₀₃)²T₁₇=(η₃₀+η₁₂)²+(η₂₁+η₀₃)²T₁₈=(η₃₀-3η₁₂)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]+(3η₂₁-η₀₃)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]T₁₉=(η₂₀-η₀₂)[(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]+4η₁₁[(η₃₀+η₁₂)+(η₂₁+η₀₃)]T₂₀=(3η₂₁-η₀₃)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]+(3η₁₂-η₀₃)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]纹理特征之对比度T_k：其中i和j均为像素的灰度，L是像素的灰度级，θ表示灰度共生矩阵的生成方向，k=21、25、29、33时分别对应于θ为0°、45°、90°和135°的对比度值，d表示两个像素的空间距离，表示归一化后的灰度共生矩阵，由式计算得到，P(i,j,d,θ)表示灰度共生矩阵，对比度T_k反映图像的清晰度和纹理沟纹的深浅程度，其值越大表面缺陷纹理沟纹越深，视觉效果越好，反之，其值越小则表面缺陷纹理沟纹越浅，视觉效果越不清晰；纹理特征之二阶矩T_a：其中a=22、26、30、34分别对应于θ为0°、45°、90°和135°的二阶矩，T_a反映图像灰度分布均匀程度和纹理粗细的程度，其值越小则表面缺陷的纹理越均匀，其值越大则表面缺陷的纹理分布越不均匀；纹理特征之相关度T_c：其中c=23、29、31、35分别对应于θ为0°、45°、90°和135°的相关度值，其中，μ₁，μ₂，σ₁，σ₂定义如下：μ1=Σi=0L-1Σj=0L-1iP^(i,j,d,θ)]]>μ2=Σi=0L-1Σj=0L-1jP^(i,j,d,θ)]]>σ1=Σi=0L-1ΣJ=0l-1(i-μ1)P^(i,j,d,θ)]]>σ2=Σi=0L-1Σj=0L-1(j-μ2)P^(i,j,d,θ)]]>T_c反映空间灰度共生矩阵元素在行或列方向上的相似程度，其值越大则表面缺陷的矩阵元素值越均匀相等；纹理特征之逆差矩T_d：其中d=24、30、32、36分别对应于θ为0°、45°、90°和135°的逆差矩，T_d反映图像纹理的同质性，度量图像纹理局部变化的多少，其值越大表明表面缺陷纹理的不同区域间的变化越小，局部越均匀，反之则表明表面缺陷不同区域间的纹理变化越大，局部越不均匀；6.2：首先，计算铜板带表面缺陷图像特征样本集的相关矩阵其中r_ij（i,j=1,2,…,m）表示特征T_i和T_j的相关系数，其计算方法如下：rij=Σk=1n(tki-ti‾)(tkj-tj‾)/Σk=1n(tki-ti‾)2(tkj-tj‾)2]]>其中t_ki表示第k幅缺陷样本图像的特征T_i的值，表示所有图像的特征T_i的平均值；然后，通过|R-λI|=0计算特征值以及对应的特征向量Wi*(i=1,2,3,...,m);]]>最后，计算以及其中α_i表示根据特征值排序后的第i个特征对于缺陷识别的贡献度，当β≥β₀时，β₀为事先选定的累积贡献度，p为经过优选后的主要特征的数量，并通过将特征T_i(i=1,2,…,36)映射成p(p<36)个主成分并满足缺陷识别的要求，达到降维优化的目的，从而提高计算效率，其中T=[T₁,T₂,…,T₃₆]^T，y_i为映射后的特征向量。7）设计基于在线序列极限学习机的铜板带表面缺陷分类器，并利用样本进行训练，步骤如下：7.1：设计基于在线序列极限学习机的分类器输入层和输出层，分类器的输入层和输出层的设计主要是确定分类器的输入层、输出层的神经元数目，令铜板带表面缺陷的特征数为n，如果将这n个特征直接作为学习机的输入层的神经元数目，则其计算复杂度会很高，因此，利用前述主成分分析方法将这n个特征优化降维为p个属性，以此作为的输入层的神经元数目，归纳总结铜板带表面的主要缺陷类型，这些缺陷类型数H即为输出层的神经元数目；为防止特征向量即p个属性取值处于较大范围的属性压倒那些取值处于相对较小范围的属性，本发明采用最大最小化规格方法将具体的属性的取值范围映射到[0，1]，并针对主成分特征向量中不同属性的规格化操作中的最大最小取值的选取，采用全体样本矩阵中该属性的最大、最小值，具体的归一化计算方法如下：v′=v-sminsmax-smin]]>其中，v、v′是主成分特征向量S的某一个主成分属性值及归一化后的值，s_min、s_max是该属性在样本矩阵中的最大值、最小值；7.2：设计分类器的激励函数设计分类器的激励函数就是选择隐层神经元的传递函数，极限学习机中的激励函数需要是可微的，本发明选择Sigmoid函数：7.3：设计隐层分类器隐层的设计主要是确定隐层神经元的数目，是极限学习机分类器设计的关键部分；隐层神经元的数目的设置是一个复杂的问题，通常是根据设计者的经验或者不断的实验来确定相对最优的数目，无法通过一个理想的计算式来获得；隐层神经元的数目的确定是受具体的问题、输入层神经元数目、输出层神经元数目等因素的约束；隐层神经元的数目如果设置的太小，则分类器的适应性差，如果设置的太大，则分类器的计算复杂度将无法接受；本发明中的极限学习机分类器的隐层神经元数目的设置由下式通过迭代计算而来：n_i+1=n_i+σ，其中，n_i为隐层神经元数目，初始值为n₀=log₂m，m为输入层神经元数目，σ为调节因子，取值范围为[1,5]，本发明中取3。当迭代k次后测试和训练的精确度曲线趋于平衡，增速减缓且精确度均高于90%时，对应的n_k即为本发明的分类器的隐层神经元的数目；7.4：设计分类器的初始值分类器的初始值的设计主要是分配极限学习机的输入层神经元与隐层神经元之间的连接权值和隐层神经元的偏移量，由于激励函数是可微的，极限学习机的连接权值、偏移量具有随机以及在训练过程中不需要改变的特点，因此，本发明中的分类器的连接权值、偏移量设置为[0,1]范围内的随机值；7.5：训练分类器将N个训练样本按待分类的铜板带表面缺陷类型数分成H个子样本集，分别对H个子样本集训练H个分类器，计算出每个样本集的中心值C_i，i=1，…，H；8）提取待检测铜板带表面图像的特征，将其经过主成分优化的特征向量数据输入训练好的分类器，通过计算DW_i=min‖x_j-C_i‖，从而识别出表面缺陷的类型，其中x_j即为特征向量，DW_i即为找到的子分类器，表面缺陷类型识别出后，在原始的图像上标记出缺陷，并将表面缺陷的相关信息存入存储服务器，并对严重级别的缺陷进行声光警示。