[发明专利]一种基于表征变换感知的图像异常检测方法

权利要求书

1.一种基于表征变换感知的图像异常检测方法，包括下列步骤：

第一步：内容-结构变换预测

(1)数据预处理

选取工业缺陷数据集进行异常检测，训练数据为无缺陷数据，测试数据包含两部分，一部分为包含各类缺陷的数据，另一部分为无缺陷数据；将原始输入图像视为内容图像，对内容图像应用边缘检测算法生成与内容图像对应的结构图像；然后，对内容图像和结构图像进行图像变换，获得内容变换图像和结构变换图像；

(2)内容-结构特征提取

利用内容编码器En_c对内容图像和内容变换图像提取隐空间特征F_c和F_tc，利用结构编码器En_s对结构图像和结构变换图像提取隐空间特征F_s和F_ts；

(3)内容-结构变换预测

为学得更丰富的无缺陷图像高级属性特征，另外采用两个解码器D_c和D_s，将所获得的内容图像和内容变换图像的编码特征F_c和F_tc，以及结构图像和结构变换图像的编码特征F_s和F_ts，分别送入两个解码器D_c和D_s，输出预测的图像变换方式

通过变换感知损失l_t来联合训练编码器En_s、En_c以及解码器D_c、D_s，在训练过程中最小化此差异，方法如下：每个变换t都用特定的参数来表示，事先定义一个参数化变换族T＝{t_θ|θ～Θ}，其中参数θ从分布Θ中取样，变换感知损失通过参数θ来捕获，选取的仿射变换用参数化矩阵A(θ)表示，变换感知损失l_t通过下式计算真实变换和预测变换之间的差异，即：

第二步：变换一致性约束

(1)建立变换特征的映射关系

引入特征变换网络T来近似内容图像和内容变换图像的编码特征F_c和F_tc之间的映射关系f_t(.)，特征变换网络T基于ResNet网络实现，将特征F_c输入给一个以随机变换t为条件的特征变换网络T，输出表示为T(F_c,t)，通过最小化T(F_c,t)和F_tc的均方误差损失MSE来训练特征变换网T；

(2)重建原始图像

将内容编码器En_c和结构编码器En_s提取的两个高级属性特征F_c和F_s融合起来，得到融合特征F，并将其送入解码器De，重建原始图像，解码器De网络采用四层反卷积层设计，利用输入图像和重建图像的均方误差MSE来计算重建误差损失l_rec；

(3)预测重建图像的变换

利用特征变换网络T，使用内容编码器En_c提取重建图像的潜在特征基于重建图像的潜在特征来计算重建变换图像的潜在特征并将潜在特征和送入解码器D_c预测重建图像的变换，如果参数化的变换t能够通过向解码器D_c输入特征F_c和F_tc进行成功预测，那么通过提供和来正确地预测变换即存在变换的一致性，通过计算原始变换t和预测变换的均方误差MSE来表示变换一致性损失函数，约束解码器De生成高质量的重建图像；

第三步：异常检测

异常检测模块用于测试输入样本图像有无缺陷异常，将重建图像与原始图像之间的质量差异作为判别异常的标准，首先依据均方误差MSE计算待测样本的重建误差值，然后将此值在测试集上进行min-max归一化，得到最终的异常分数值，通过设置阈值进行正常和异常的区分，异常分数值低于阈值的判定为正常样本，反之为异常样本，最终完成异常检测。