[发明专利]一种基于特征挖掘和神经网络的热图像缺陷提取方法

摘要

本发明公开了一种基于特征挖掘和神经网络的热图像缺陷提取方法，通过选取热图像序列中的步长将图像分块，并根据分块去除冗余信息，提取代表性瞬态热响应。本发明利用特征提取公式对瞬态热响应的总热量、吸热阶段的温度变化率、放热阶段的温度变化率、温度均值、温度峰值这些特征进行提取，并根据所提取出的特征，构建神经网络，并将瞬态热响应分类，然后，对三维矩阵进行变换，得到含有缺陷区域的二维图像，最后采用模糊C均值算法对含有缺陷区域的二维图像进行聚类和二值化，得到最终的缺陷图像，从而提取出热图像的缺陷特征。本发明通过深层次挖掘瞬态热响应曲线所包含的物理信息，提高了聚类的合理性，从而提高了缺陷提取的精准度。

主权项

1.一种基于特征挖掘和神经网络的热图像缺陷提取方法，其特征在于，包括以下步骤：(1)、将红外热像仪获取的热图像序列用三维矩阵S表示，其中的元素S(i,j,t)表示热图像序列的t帧热图像的第i行、第j列的像素值；(2)、从三维矩阵S选出最大像素值S(i_zz,j_zz,t_zz)，其中，i_zz、j_zz和t_zz分别表示最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数；(3)、对于三维矩阵S的t_zz帧，选取第j_zz行，根据像素值(即温度值)的变化，选取P个像素值跳变点，跳变点位于两个跳变像素值像素点之间，以跳变点按行对三维矩阵S进行划分，得到P+1个行数据块；在第p个行数据块S^p中(p＝1,2,...,P+1)，找到最大像素值，记为其中，分别表示第p个行数据块S^p中最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数，则最大像素值对应的瞬态热响应为T为三维矩阵S帧的总数量；设置第p个行数据块S^p的温度阈值为THRE^p，计算瞬态热响应与距离最大像素值即温度最大值像素点所在列由近及远像素点像素值对应的瞬态热响应之间的相关度Re^b，b依次取1,2,...，并判断相关度Re^b是否小于温度阈值THRE^p，当小于时，停止计算，此时，像素点间距b为第p个行数据块行数据块S^p的行步长，记为CL^p；(4)、对于三维矩阵S的t_zz帧，选取第i_zz行，根据像素值(即温度值)的变化，选取Q个像素值跳变点，跳变点位于两个跳变像素值像素点之间，以跳变点按列对三维矩阵S进行划分，得到Q+1个列数据块；在第q个列数据块S^q中(q＝1,2,...,Q+1)，找到最大像素值，记为其中，分别表示第q个列数据块S^q中最大像素值像素点所在行的行数、所在列的列数以及所在帧的帧数，则最大像素值对应的瞬态热响应为T为三维矩阵S帧的总数量；设置第q个列数据块S^q的温度阈值为THRE^q，计算瞬态热响应与距离最大像素值即温度最大值像素点所在行由近及远像素点像素值对应的瞬态热响应之间的相关度Re^d，d依次取1,2,...，并判断相关度Re^d是否小于温度阈值THRE^q，当小于时，停止计算，此时，像素点间距d为第d个列数据块S^q的列步长，记为CL^q；(5)、分块分步长选取瞬态热响应(5.1)、依据步骤(3)选取的P个像素值跳变点按列以及步骤(4)选取的K个像素值跳变点按行对三维矩阵S进行分块，得到(P+1)×(Q+1)个数据块，行上第p、列上第q个数据块表示为S^p,q；(5.2)、对于每个数据块S^p,q，设置阈值DD，初始化集合编号g＝1，初始化像素点位置i＝1，j＝1，并将最大像素值S(i_zz,j_zz,t_zz)对应的瞬态热响应S(i_zz,j_zz,t)，t＝1,2,...,T，存储在集合X(g)中；然后计算数据块S^p,q中像素点位于i行，j列的瞬态热响应S^p,q(i,j,t)，t＝1,2,...,T，与集合X(g)间的相关度Re_i,j，并判断：如果Re_i,j<DD，则g＝g+1，并将瞬态热响应S^p,q(i,j,t)，t＝1,2,...,T作为一个新特征存储在集合X(g)中；否则，令i＝i+CL^p，继续计算下一个瞬态热响应S^p,q(i,j,t)，t＝1,2,...,T与集合X(g)的相关度；如果i＞M^p,q，则令i＝i‑M^p,q，j＝j+CL^q，即变化到第j+CL^q列进行计算，如果j＞N^p,q,则瞬态热响应选取完毕，其中，M^p,q、N^p,q分别为数据块S^p,q的行数、列数；(6)、步骤(5)选取的所有(P+1)×(Q+1)个数据块的所有集合X(g)即瞬态热响应为G条，对这G条瞬态热响应进行特征提取，并分为L类(6.1)、特征提取计算每条瞬态热响应的能量即第一个特征：其中，g为瞬态热响应序号，g＝1,2,...,G，x_g,t为瞬态热响应g在t帧的像素值(温度值)；计算每条瞬态热响应在吸热过程中的温度变化率即第二个特征：其中，t_mid表示加热终止帧序号，为瞬态热响应g在t_mid帧的像素值(温度值)，t₀表示加热起始帧序号(通常为1，即第1帧)，为瞬态热响应g在t₀帧的像素值(温度值)；计算每条瞬态热响应在放热过程中的温度变化率即第三个特征：其中，t_end表示放热结束帧序号，为瞬态热响应g在t_end帧的像素值(温度值)；计算每条瞬态热响应的平均温度值即第四个特征：计算每条瞬态热响应的最大温度值即第五个特征：完成特征提取后，每条瞬态热响应的特征可以表示为：(6.2)、设定聚类数目L，其中既包含了有缺陷部分的聚类，又包含了无缺陷部分的聚类；输入层神经元个数等于特征个数5，映射层神经元个数为L个，初始化每个映射层神经元权值为用K均值算法基于提取的特征对G条瞬态热响应进行聚类(聚为L类特征聚类)，将L类特征聚类的中心作为每个映射层神经元权值的初始化权值，其中，分别对应第l个特征聚类中心的五个特征即能量、吸热过程中的温度变化率、放热过程中的温度变化率、平均温度值、最大温度值；初始化迭代次数k＝0时，然后进行迭代；(6.3)、在第k次迭代时，首先通过Fisher准则计算每个特征的影响因子，即：其中，表示第k次迭代时第z个特征的影响因子，和分别表示第k迭代时第z个特征在第l₁个特征聚类中的均值和方差，和分别表示第k迭代时第z个特征在第l₂个特征聚类中的均值和方差，同样地，和分别表示第k迭代时第z'个特征在第l₁个特征聚类中的均值和方差，和分别表示第k迭代时第z'个特征在第l₂个特征聚类中的均值和方差；然后更新映射层神经元权值：将G条瞬态热响应中每条瞬态热响应特征X_g作为并表示为然后计算与每个映射层神经元的权值之间的欧式距离从而挑选获胜神经元：其中，l＝1,2,...,L，将距离该瞬态热响应特征X_g最近的映射层神经元作为获胜神经元l^*，即：将获胜神经元以及其邻域内映射层神经元的权值更新为其中，为获胜神经元以及其邻域内映射层神经元中的一个映射层神经元，η(k)为改变更新快慢的自适应学习因子，其值为：其中，为：其中，表示获胜神经元以及其邻域内映射层神经元中的一个映射层神经元到获胜神经元l^*的距离，δ为一个常数；每条瞬态热响应特征X_g更新一次映射层神经元权值，直到所有G条瞬态热响应都用于了映射层神经元权值的更新；(6.4)将G条瞬态热响应的每一条瞬态热响应的特征X_g作为g＝1,2,...,G，输入神经网络，计算每一条瞬态热响应特征分别到L个映射层神经元权值的距离，距离最近的映射层神经元权值所对应的聚类为该瞬态热响应特征所对应聚类，即：其中，表示瞬态热响应特征的聚类；(6.5)当k＞k_max或时，迭代结束，k+1次聚类为每条瞬态热响应的类别；否则k＝k+1，且返回(6.3)，其中，k_max表示最大迭代次数，ε表示允许的最大误差；(7)、对于L类瞬态热响应寻找每一类的代表，并构成构成一个T×L的矩阵Y(7.1)、首先求取每一类瞬态热响应的中心，用每一类的均值表示该类的中心即：其中，每一帧的均值可以通过下式计算：其中，为c_l类瞬态热响应的数量，分别表示c_l类第1条、第条瞬态热响应在t帧的像素值(温度值)；(7.2)、用表示第c_l类的代表，并通过下式计算每一类的代表：其中，表示除了类别c_l以外的其他类别集合；即在类别c_l的条瞬态热响应中找到一条瞬态热响应满足与其他类别c_u的瞬态热响应中心的距离和最大；(7.3)、将L类的瞬态响应代表按列放置(一列为T个时刻的像素值即温度值)，构成一个T×L的矩阵Y；(8)、将三维矩阵S中的每一帧从第一列开始，将后一列接在前一列的末尾，构成新的一列，得到T帧对应的T列像素值，然后，依据时间先后，将T列像素值依次放置，构成I×J行、T列二维图像矩阵O，用矩阵Y对二维矩阵O进行线性变换，即：得到二维图像矩阵R，其中，为L×T矩阵，是矩阵Y的伪逆矩阵，O^T二维图像矩阵O的转置矩阵，得到的二维图像矩阵R为L行、I×J列；二维图像矩阵R的每一行，按J列依次进行截取，截取的J列按行依次放置，构成一张I×J二维图像，这样L行，得到L张I×J二维图像，这些图片都包含了缺陷区域，为方便缺陷轮廓提取，选择缺陷区域和非缺陷区域像素值(温度值)差距最大的一张二维图像，并记为f(x,y)；(9)、采用模糊C均值算法对二维图像f(x,y)进行图像分割，实现特征提取：首先采用模糊C均值算法对的二维图像f(x,y)进行聚类，根据隶属度最大，得到每个像素点所属类别，然后该类别聚类中心的值作为该像素点的幅值，得到分割后的图像，最后，将分割后图像转换成二值图像，即设定阈值为TH，当分割后的图像中像素点幅值大于TH时，将该像素点幅值设为1，否则幅值设为0；二值图像为缺陷图像，从而完成缺陷的提取。