[发明专利]一种基于特征挖掘和神经网络的热图像缺陷提取方法

权利要求书

1.一种基于特征挖掘和神经网络的热图像缺陷提取方法，其特征在于，包括以下步骤：

(1)、将红外热像仪获取的热图像序列用三维矩阵S表示，其中的元素S(i,j,t)表示热图像序列的t帧热图像的第i行、第j列的像素值；

(2)、从三维矩阵S选出最大像素值S(i_zz,j_zz,t_zz)，其中，i_zz、j_zz和t_zz分别表示最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数；

(3)、对于三维矩阵S的t_zz帧，选取第j_zz行，根据像素值的变化，选取P个像素值跳变点，跳变点位于两个跳变像素值像素点之间，以跳变点按行对三维矩阵S进行划分，得到P+1个行数据块；

在第p个行数据块S^p中，p＝1,2,...,P+1，找到最大像素值，记为其中，分别表示第p个行数据块S^p中最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数，则最大像素值对应的瞬态热响应为T为三维矩阵S帧的总数量；

设置第p个行数据块S^p的温度阈值为THRE^p，计算瞬态热响应与距离最大像素值即温度最大值像素点所在列由近及远像素点像素值对应的瞬态热响应之间的相关度Re^b，b依次取1,2,...，并判断相关度Re^b是否小于温度阈值THRE^p，当小于时，停止计算，此时，像素点间距b为第p个行数据块S^p的行步长，记为CL^p；

(4)、对于三维矩阵S的t_zz帧，选取第i_zz行，根据像素值的变化，选取Q个像素值跳变点，跳变点位于两个跳变像素值像素点之间，以跳变点按列对三维矩阵S进行划分，得到Q+1个列数据块；

在第q个列数据块S^q中，q＝1,2,...,Q+1，找到最大像素值，记为其中，分别表示第q个列数据块S^q中最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数，则最大像素值对应的瞬态热响应为T为三维矩阵S帧的总数量；

设置第q个列数据块S^q的温度阈值为THRE^q，计算瞬态热响应与距离最大像素值即温度最大值像素点所在行由近及远像素点像素值对应的瞬态热响应之间的相关度Re^d，d依次取1,2,...，并判断相关度Re^d是否小于温度阈值THRE^q，当小于时，停止计算，此时，像素点间距d为第q个列数据块S^q的列步长，记为CL^q；

(5)、分块分步长选取瞬态热响应

(5.1)、依据步骤(3)选取的P个像素值跳变点按列以及步骤(4)选取的Q个像素值跳变点按行对三维矩阵S进行分块，得到(P+1)×(Q+1)个数据块，行上第p、列上第q个数据块表示为S^p,q；

(5.2)、对于每个数据块S^p,q，设置阈值DD，初始化集合编号g′＝1，初始化像素点位置i＝1，j＝1，并将最大像素值S(i_zz,j_zz,t_zz)对应的瞬态热响应S(i_zz,j_zz,t)，t＝1,2,...,T，存储在集合X(g′)中；然后计算数据块S^p,q中像素点位于i行，j列的瞬态热响应S^p,q(i,j,t)，t＝1,2,...,T，与集合X(g′)间的相关度Re_i,j，并判断：

如果Re_i,jDD，则g′＝g'+1，并将瞬态热响应S^p,q(i,j,t)，t＝1,2,...,T作为一个新特征存储在集合X(g′)中；否则，令i＝i+CL^p，继续计算下一个瞬态热响应S^p,q(i,j,t)，t＝1,2,...,T与集合X(g′)的相关度；如果i＞M^p,q，则令i＝i-M^p,q，j＝j+CL^q，即变化到第j+CL^q列进行计算，如果j＞N^p,q,则瞬态热响应选取完毕，其中，M^p,q、N^p,q分别为数据块S^p,q的行数、列数；

(6)、步骤(5)选取的所有(P+1)×(Q+1)个数据块的所有集合X(g′)即瞬态热响应为G条，对这G条瞬态热响应进行特征提取，并分为L类

(6.1)、特征提取

计算每条瞬态热响应的能量即第一个特征：

其中，g为瞬态热响应序号，g＝1,2,...,G，x_g,t为瞬态热响应g在t帧的像素值；

计算每条瞬态热响应在吸热过程中的温度变化率即第二个特征：

其中，t_mid表示加热终止帧序号，为瞬态热响应g在t_mid帧的像素值，t₀表示加热起始帧序号，为瞬态热响应g在t₀帧的像素值；

计算每条瞬态热响应在放热过程中的温度变化率即第三个特征：

其中，t_end表示放热结束帧序号，为瞬态热响应g在t_end帧的像素值；

计算每条瞬态热响应的平均温度值即第四个特征：

计算每条瞬态热响应的最大温度值即第五个特征：

完成特征提取后，每条瞬态热响应的特征表示为：

(6.2)、设定聚类数目L，其中既包含了有缺陷部分的聚类，又包含了无缺陷部分的聚类；

输入层神经元个数等于特征个数5，映射层神经元个数为L个，初始化每个映射层神经元权值为用K均值算法基于提取的特征对G条瞬态热响应进行聚为L类特征聚类，将L类特征聚类的中心作为每个映射层神经元权值的初始化权值，其中，分别对应第l个特征聚类中心的五个特征即能量、吸热过程中的温度变化率、放热过程中的温度变化率、平均温度值、最大温度值；

初始化迭代次数k＝0时，然后进行迭代；

(6.3)、在第k次迭代时，首先通过Fisher准则计算每个特征的影响因子，即：

其中，表示第k次迭代时第z个特征的影响因子，和分别表示第k迭代时第z个特征在第l₁个特征聚类中的均值和方差，和分别表示第k迭代时第z个特征在第l₂个特征聚类中的均值和方差，同样地，和分别表示第k迭代时第z'个特征在第l₁个特征聚类中的均值和方差，和分别表示第k迭代时第z'个特征在第l₂个特征聚类中的均值和方差；

然后更新映射层神经元权值：

将G条瞬态热响应中每条瞬态热响应特征X_g作为并表示为然后计算与每个映射层神经元的权值W_l^k之间的欧式距离从而挑选获胜神经元：

其中，l＝1,2,...,L，

将距离该瞬态热响应特征X_g最近的映射层神经元作为获胜神经元l^*，即：

将获胜神经元以及其邻域内映射层神经元的权值更新为

其中，为获胜神经元以及其邻域内映射层神经元中的一个映射层神经元，η(k)为改变更新快慢的自适应学习因子，其值为：

其中，为：

其中，表示获胜神经元以及其邻域内映射层神经元中的一个映射层神经元到获胜神经元l^*的距离，δ为一个常数；

每条瞬态热响应特征X_g更新一次映射层神经元权值，直到所有G条瞬态热响应都用于了映射层神经元权值的更新；

(6.4)将G条瞬态热响应的每一条瞬态热响应的特征X_g作为输入神经网络，计算每一条瞬态热响应特征分别到L个映射层神经元权值的距离，距离最近的映射层神经元权值所对应的聚类为该瞬态热响应特征所对应聚类，即：

其中，表示瞬态热响应特征的聚类；

(6.5)当k＞k_max或|W_l^k+1-W_l^k|＜ε时，迭代结束，k+1次聚类为每条瞬态热响应的类别；否则k＝k+1，且返回(6.3)，其中，k_max表示最大迭代次数，ε表示允许的最大误差；

(7)、对于L类瞬态热响应寻找每一类的代表，并构成一个T×L的矩阵Y

(7.1)、首先求取每一类瞬态热响应的中心，用每一类的均值表示该类的中心即：

其中，每一帧的均值通过下式计算：

其中，为c_l类瞬态热响应的数量，分别表示c_l类第1条、第条瞬态热响应在t帧的像素值；

(7.2)、用表示第c_l类的代表，并通过下式计算每一类的代表：

其中，表示除了类别c_l以外的其他类别集合；

即在类别c_l的条瞬态热响应中找到一条瞬态热响应满足与其他类别c_u的瞬态热响应中心的距离和最大；

(7.3)、将L类的瞬态响应代表按列放置，构成一个T×L的矩阵Y；

(8)、将三维矩阵S中的每一帧从第一列开始，将后一列接在前一列的末尾，构成新的一列，得到T帧对应的T列像素值，然后，依据时间先后，将T列像素值依次放置，构成I×J行、T列二维图像矩阵O，用矩阵Y对二维矩阵O进行线性变换，即：得到二维图像矩阵R，其中，为L×T矩阵，是矩阵Y的伪逆矩阵，O^T二维图像矩阵O的转置矩阵，得到的二维图像矩阵R为L行、I×J列；

二维图像矩阵R的每一行，按J列依次进行截取，截取的J列按行依次放置，构成一张I×J二维图像，这样L行，得到L张I×J二维图像，这些图片都包含了缺陷区域，为方便缺陷轮廓提取，选择缺陷区域和非缺陷区域像素值差距最大的一张二维图像，并记为f(x,y)；

(9)、采用模糊C均值算法对二维图像f(x,y)进行图像分割，实现特征提取：

首先采用模糊C均值算法对的二维图像f(x,y)进行聚类，根据隶属度最大，得到每个像素点所属类别，然后该类别聚类中心的值作为该像素点的幅值，得到分割后的图像，最后，将分割后图像转换成二值图像，即设定阈值为TH，当分割后的图像中像素点幅值大于TH时，将该像素点幅值设为1，否则幅值设为0；二值图像为缺陷图像，从而完成缺陷的提取。

2.根据权利要求1所述的基于特征挖掘和神经网络的热图像缺陷提取方法，其特征在于，步骤(9)具体为：

(9.1)、初始化迭代次数h＝0时，初始化类别数目M，初始化M个聚类中心设置终止条件为ε′，然后进行迭代计算

(9.2)、计算第h次迭代第i'类的隶属度矩阵第k'个像素点隶属于第i'类的程度即隶属度为：

其中，i'＝1,2,…,M，表示第k'个像素点与h次迭代的第i'聚类中心的欧氏距离，表示第k'个像素点与h次迭代的第j'聚类中心的欧氏距离，x_k'表示第k'个像素点的幅值，τ为常数，通常取2；

(9.3)、计算目标函数：

如果h≥1且停止迭代，否则，更新聚类中心即计算第h+1次迭代的聚类中心

其中，K'＝I×J，表示二维图像f(x,y)的像素点总个数；

更新迭代次数h＝h+1，返回步骤(9.2)；

(9.4)、对于每个像素点，根据隶属度矩阵得到每个像素点k'，k'＝1,2,...,K'，的最大隶属度，其所在隶属度矩阵对应的类别记为该像素点k'的类别即：然后，将该类别聚类中心的值V_i'作为该像素点的幅值，得到分割后的图像，最后，将分割后图像转换成二值图像，即设定阈值为TH，当分割后的图像中像素点幅值大于TH时，将该像素点幅值设为1，否则幅值设为0；二值图像为缺陷图像，从而完成缺陷的提取。