[发明专利]一种基于GAN的图像修复的缺陷检测方法

权利要求书

1.一种基于GAN的图像修复的缺陷检测方法，其特征在于，包括以下步骤：

1)针对于原始的1000幅无缺陷样本训练图像数据进行预处理，即对其依次进行图像数据增广、图像数据灰度值调整以及图像数据加噪，生成4000幅用于GAN网络训练的训练图像数据；

2)增加边缘检测Loss，将其同GAN网络的生成器Loss与判别器Loss进行加权求和，作为GAN网络的生成器的总损失，用于生成器的训练；具体为：在GAN网络的生成器的总损失当中增加了边缘检测的Loss，即分别对于GAN网络的输入图像和重建图像进行Sobel边缘检测，计算其边缘检测结果之间的L2_loss，作为边缘检测的Loss，同GAN网络的生成器Loss与判别器Loss进行加权求和，作为GAN网络的生成器的总损失，用于生成器的训练，其计算公式如下：

g_total_loss＝2*g_loss+0.05*d_loss+2*edge_loss

3)针对于待检测图像提取感兴趣区域ROI，生成ROI图像，将其同残差图像进行图像融合，随后进行阈值处理，生成初步的缺陷检测图像；具体为：针对于待检测图像提取其感兴趣区域ROI，令感兴趣区域为白色，不感兴趣区域为黑色，将ROI图像同GAN网络所生成的重建图像与输入图像之间的残差图像按照0.5:0.5的比例进行图像融合，其计算公式如下：

result＝residual_image*0.5+roi_image*0.5

对于融合过后的图像结果进行灰度直方图的计算，从而确定该图像的最佳阈值，利用该阈值进行图像分割，最后对于分割结果利用3×3大小的十字结构的内核进行先腐蚀后膨胀的处理，消除孤立点的存在，得到初步的缺陷检测图像；

4)针对于GAN网络的重建图像进行边缘检测，利用该检测结果去除初步的缺陷检测图像中所不需要的边缘区域，得到最终的缺陷检测结果。

2.根据权利要求1所述的一种基于GAN的图像修复的缺陷检测方法，其特征在于，步骤1)中，通过分析元件的主要缺陷类型，包括：缺陷的大小与颜色、缺陷的具体形态以及缺陷在元件中所处的位置，结合元件本身的颜色特征，针对于原始的1000幅无缺陷样本训练图像数据进行预处理。

3.根据权利要求2所述的一种基于GAN的图像修复的缺陷检测方法，其特征在于，步骤1)中，具体实现方法如下：

首先是图像数据增广，对图像数据分别进行水平翻转、垂直翻转以及对角线翻转处理，并在此基础之上采用50％的概率进行滤波，令图像更加平滑，滤波方式随机选取均值滤波、中值滤波以及高斯滤波这三种类型，共生成4000幅数据增广图像；

其次是图像数据灰度值调整，对数据增广后的4000幅图像数据，进行灰度值取值范围的更改，在原灰度值取值的基础上，令其灰度值取值随机整体上调0～80，灰度值取值小于50的黑色部分仍保持原灰度值取值，不进行更改，令训练图像数据更加接近于测试图像数据；

最后是图像数据加噪，按照90％的概率决定是否对其进行加噪，噪声类型随机选取曲线噪声、直线噪声、圆形噪声以及椭圆噪声这四种类型，噪声的灰度值取值随机选取0～255范围之间的任意灰度值取值，噪声的个数以及大小均在预先设定好的取值范围内进行随机选取；

将加噪前与加噪后的各4000张图像数据作为最终所需要的训练数据，送入GAN网络中进行训练。

4.根据权利要求1所述的一种基于GAN的图像修复的缺陷检测方法，其特征在于，步骤4)中，针对于GAN网络的重建图像进行Laplace边缘检测，利用该检测结果将所不需要的边缘区域从初步的缺陷检测结果中移除，得到最终的缺陷检测结果。