[发明专利]透明构件缺陷的光学和热红外多级成像检测方法及装置

权利要求书

1.透明构件缺陷的光学和热红外多级成像检测方法，包括以下步骤：

对3C透明构件进行光学成像，获取光学图像，初步判定3C透明构件的缺陷位置和大小；

利用氮气对3C透明构件的缺陷位置加热，进行热红外成像，获取热红外图像；

将光学图像和热红外图像进行融合处理，再通过深度学习认识出3C透明构件的缺陷类别；

所述融合处理具体为：

采用两个超景深红外模块对3C透明构件进行热红外成像，对得到的两个成像视频进行间隔采样，各抽取7帧60×40像素大小的视频，共计60×40像素大小、7帧的2段视频，分别为第一红外视频和对二红外视频；

利用第一卷积神经网络3D-CNN模型对第一红外视频和第二红外视频进行数据特征提取，计算属于不同缺陷类别的概率，缺陷类别包括正常、裂纹、气泡、划痕、崩边；

将光学成像图像尺寸压缩到60×40像素，对两个超景深红外成像模块的成像视频随机各提取2张图片共4张红外成形图像，尺寸大小均为60×40像素，从而得到共计60×40像素的5张图片；

利用第二卷积神经网络2D-CNN模型对5张照片进行数据特征提取，计算属于不同缺陷类别的概率；

将针对第一红外视频和第二红外视频计算得到的缺陷类别的概率，与对5张图片计算得到的缺陷类别的概率进行融合，按照下式计算：

其中，P_A为融合后的预测缺陷概率，P_V1为第一红外视频的预测缺陷概率，P_V2为第二红外视频的预测缺陷概率，P_O为光学图像的预测缺陷概率，P_T1,P_T2,P_T3,P_T4分别为4张红外成形图像的预测缺陷概率；

最终的判断缺陷类别，依据以下公式进行计算：

Y＝argmax(P_A)

其中，Y为最终计算获取当前待检测3C透明构件的缺陷类别。

2.根据权利要求1所述的透明构件缺陷的光学和热红外多级成像检测方法，其特征在于，所述第一卷积神经网络3D-CNN包含1个硬连线层H1、3个卷积层C2、C4和C6、2个下采样层S3和S5、1个全连接层FC和1个软回归层SR；

每个3D卷积核卷积的立方体是连续7帧，每帧大小是60×40像素；所述的1个硬连线层，对输入的第一红外视频、第二红外视频输入分别进行处理，各帧提取五个通道的信息，分别是：灰度、x和y方向的梯度，x和y方向的光流，灰度、x和y方向的梯度前三个按每帧计算，x和y方向的光流则是连续两帧计算，共计是33个特征；

所述的3个卷积层分别通过7x7x3、7x6x3和7x4的卷积核对前层数据卷积计算获得；

2个下采样层分别通过2x2和3x3池化计算获得；

最后，通过1个全连接层获取128维的向量，再通过1个软回归层与所述的全连接层进行连接，获取不同缺陷类别的概率。

3.根据权利要求2所述的透明构件缺陷的光学和热红外多级成像检测方法，其特征在于，所述第二卷积神经网络包含2个卷积层分别为第一卷积层和第二卷积层、2个下采样层分别第一下采样层和第二下采样层、1个全连接层和1个软回归层；

所述的2个卷积层均用2x2的卷积核对前层数据卷积计算获得；2个下采样层均通过2x2池化计算获得；

最后，通过1个全连接层获取128维的向量，再通过1个软回归层与所述的全连接层进行连接，获取不同缺陷类别的概率；

分别将1张光学成像和4张热红外成像的60×40像素大小图片输入到第二卷积神经网络模型的第一个卷积层，从所述第二卷积神经网络模型的软回归层获取所述5张图像的缺陷类别辨识概率。