[发明专利]一种加入Transformer的串式知识蒸馏的无监督缺陷检测方法

权利要求书

1.一种加入Transformer的串式知识蒸馏的无监督缺陷检测方法，其特征在于：包含教师模型、学生模型结构、串式知识蒸馏结构、串式知识蒸馏训练方式；具体包含如下步骤：

步骤1，在教师模型与学生模型结构之间加入基于Transformer的特征聚合过滤模块；

步骤2，将正常的样本加入模型进行进行压缩并重构训练；

步骤3，将训练好的网络在测试集上进行重构对重构结果进行对比实现像素级缺陷检测。

2.根据权利要求1所述的一种加入Transformer的串式知识蒸馏的无监督缺陷检测方法，其特征在于：在步骤1中，基于Transformer的特征聚合过滤模块，是由一个多尺度特征融合模块、一个基于transformer的VIT模块和一个残差模块组成。

3.根据权利要求1所述的一种加入Transformer的串式知识蒸馏的无监督缺陷检测方法，其特征在于：在步骤1中，基于Transformer的特征聚合过滤模块，使用CNN-transformer混合模型，具体如下：

步骤1.1，使用CNN卷积作为多尺度特征融合来生成输入的特征映射；

步骤1.2，补丁嵌入应用于从CNN特征图中提取的1个1×1个补丁；

步骤1.3，在通过CNN-transformer特征聚合之后，将特征图通过残差模块进行过滤，以避免数据偏差引起的噪声。

4.根据权利要求1所述的一种加入Transformer的串式知识蒸馏的无监督缺陷检测方法，其特征在于：所述步骤2具体如下：

步骤2.1，获取正常样本图像数据；

步骤2.2，对图像进行数据增强；

步骤2.3，将图像放入教师网络进行多尺度特征提取；

步骤2.4，讲多尺度特征放聚合过滤模块进行特征压缩；

步骤2.5，压缩后的特征通过学生网络进行重构多尺度特征；

步骤2.6，对比多尺度特征与重构多尺度特征更新聚合过滤模块、学生网络参数；

步骤2.7，完成预定轮次训练。

5.根据权利要求4所述的一种加入Transformer的串式知识蒸馏的无监督缺陷检测方法，其特征在于：在步骤2中，由于是对各层特征张量进行差异对比，Teacher-Student模型中每一层的特征张量可表示为

其中，Eⁱ和Dⁱ分别表示Teacher-Student模型中的第i层特征提取层和特征重构层，F和F_bn分别代表来自上一层的传入结果；

针对C_i、H_i、W_i分别代表第i层激活层的通道数、高度和宽度，计算沿着通道轴方向的向量余弦相似度损失，得到一个异常特征图feature map：

计算Student模型和Teacher模型对应层的输出特征间的余弦相似度，以此来作为Student模型和Teacher模型之间的损失差异；损失函数的计算公式，具体如下

其中，I代表模型中编码器和解码器的层数；它代表着Teacher模型某一层编码器和Student模型对应层解码器的输出特征间的差异要尽可能小。

6.根据权利要求1所述的一种加入Transformer的串式知识蒸馏的无监督缺陷检测方法，其特征在于：在步骤3中，

选择特征张量之间的异常feature map来作为该指标的计算方式，同时，考虑到三对编码器和解码器的尺度是不同的，对三对编码器和解码器进行双线性上采样至图像尺度，再将这几部分的feature map相加，来作为像素级别的异常分数，公式具体如下所示，

对于异常检测的评价中，采用感受性曲线下方面积AUROC作为评价度量；

对于图像级异常检测，测试图像级感受性曲线下方面积AUROC进行检测；

对于异常定位，测试每颗像素测量的感受性曲线下方面积AUROC。