[发明专利]一种基于双重GAN的边缘修复特征融合的缺陷检测方法

权利要求书

1.一种基于双重GAN的边缘修复特征融合的缺陷检测方法，其特征在于，包括以下步骤：

1)采用双重GAN先后对前处理后的缺陷图像的边缘提取结果和原图进行修复，并将边缘修复网络中修复好的纹理特征以拼接的方式融合至缺陷修复网络，将原图修复前后的差值图做孤立点消除处理获得缺陷的像素标注结果；采用先修复后分割，使用两个GAN分别训练边缘修复网络和缺陷修复网络，边缘修复网络对缺陷元件图像的边缘提取结果单独进行获取和修复，然后将修复好的纹理信息融合至缺陷修复网络之中，缺陷修复网络最终输出的为缺陷元件图像的修复结果，利用孤立点消除法对修复前后的差值图进行处理得到缺陷像素标注；

2)边缘修复网络中引入可形变卷积，减少边缘修复过程中的无效信息，使网络能够利用全局的边缘信息对缺陷的边缘提取结果进行修复；

边缘修复网络中引入了可形变卷积，边缘修复网络由编码层、中间层、解码层三部分构成，解码层由3个卷积层构成，对特征进行下采样，解码层由2个反卷积层和1个卷积层构成，2个反卷积层后的输出特征分别为X_e1、X_e2，中间层包含了可形变卷积的8个残差块，形变卷积在普通卷积的基础上给每一个卷积核的点赋予了偏移量以及有效性，通过对残差块卷积方式的更改，网络能够扩大感知范围，根据元件完好的边缘信息去修复缺陷位置的边缘；

使用GAN结合l2_loss对缺陷修复网络进行训练，输出为缺陷元件边缘的修复结果，反卷积层后的特征作为拼接特征输入到缺陷修复网络之中；

缺陷修复网络由编码层、中间层、解码层三部分构成，解码层由1个卷积层与2个卷积池化层构成，池化方式为最大池化，中间层由8个级联的残差块构成，解码层由2个上采样层和1个卷积层构成，上采样方式为双线性插值，上采样后的特征X_c1、X_c2分别与边缘修复网络2个反卷积层的输出X_e1、X_e2进行通道上的拼接，经过卷积层和全连接层对融合特征进行整合，最后经过一层卷积层将输出通道述变更为图像通道数。

2.根据权利要求1所述的一种基于双重GAN的边缘修复特征融合的缺陷检测方法，其特征在于，每次上采样之后，将边缘修复网络中相应尺寸的特征拼接到卷积层之前，将边缘修复网络获取到修复好的纹理特征拼接到缺陷修复网络中相同尺寸的高层特征上，缺陷修复网络就能根据元件的纹理对缺陷处的灰度值进行修正，卷积后在再通过全连接层进行通道间的整合，最后一层卷积使得输出特征与图像的通道一致，用GAN结合l2_loss对缺陷修复网络进行训练，输出为缺陷元件修复结果。