[发明专利]参考图像指导下融合自注意力机制的废钢图像去尘方法及系统

权利要求书

1.一种参考图像指导下融合自注意力机制的废钢图像去尘方法，其特征在于：首先使用马氏距离和欧式距离在无尘参考图像及带尘图像上构建相似块组标签；之后定义距离度量和对比损失函数构建全卷积相似块组搜索网络；利用带标签的相似块组训练神经网络，获得与块匹配相关的特征；再对带尘图像进行分块，针对每个带尘图像块，在学习到的特征指导下寻找相似块；带尘的相似块构成块组，融合自注意力机制，构建块组协同去尘网络；经过块组协同去尘得到干净块组，最后通过聚合图像块得到复原后清晰的无尘图像。

2.根据权利要求1所述的参考图像指导下融合自注意力机制的废钢图像去尘方法，其特征在于：具体包括以下步骤：

步骤S21：对无尘图像{y⁽¹⁾,y⁽²⁾,...,y^(m)}进行分块每张图像共有N个参考图像块，根据参考块构建灰度相似块组训练高斯混合模型，假设高斯混合模型子空间K，使用高斯混合模型对每个无尘图像块进行子空间分类，得出对应的协方差矩阵，进而在无尘参考图像块对应的带尘图像邻域w内分别使用马氏距离及欧式距离计算出相似块的正负样本标签位置，表示马氏距离下的正负样本标签，表示欧式距离下的正负样本标签：

其中表示第i张无尘图像上的第j个参考块向量，表示对应带尘图像邻域内的图像块向量，表示无尘图像块在高斯混合模型所对应子空间的协方差矩阵，D_m表示马氏距离，D_e表示欧式距离；

步骤S22：将带尘图像输入进全卷积相似块组搜索网络f，获得输出特征图

步骤S23：根据每个带尘参考图像块和正负样本标签的位置及从特征图中取出对应的通道向量，并使用Adam优化器最小化损失函数：

其中表示第i张带尘图像上的第j个图像块经过网络f的输出特征向量，表示在马氏距离下的正负样本向量，表示在马氏距离下的正负样本向量,N代表一张图像中参考块的个数，β与α为两种距离度量下正负样本的间隔距离；

步骤S24：重复步骤S22-S23，直至全卷积神经网络训练完成，获得参考无尘图像的相关特征；

步骤S25：将训练完成的全卷积神经网络f用于带尘图像数据集{x⁽¹⁾,x⁽²⁾,...,x^(m)}；对带尘图像x⁽ⁱ⁾上的每个参考块都寻找出欧式距离相似块组与马氏距离相似块组

步骤S26：通过带尘相似块组的位置在无尘图像上得到无尘相似块组

步骤S27：通过自注意力机制中的查询函数q计算出带尘相似块组中各个相似块的查询矩阵Q，通过关键函数k计算出关键矩阵K，通过价值函数v计算出价值矩阵V，q、k、v三个函数都对块组矩阵进行降维；

Q＝q(X)

K＝k(X)

V＝v(X)

其中X,Q,K,V均省略了图像索引i以及参考块索引j和度量方式索引e、m；

步骤S28：通过带尘相似块组的查询矩阵Q与关键矩阵K计算出能够表达带尘相似块组内部各个带尘图像块相似性的相似度矩阵S：

S＝Q·K^T

步骤S29：将参考无尘图像块组特征b叠加至相似度矩阵S；并通过融合函数w进行动态学习，使得新的相似度矩阵S′能够同时反应带尘相似块组内部的相似性和带尘块组与参考无尘图像块的相似性：

S′＝w(S+b)

步骤S210：通过softmax归一化相似性矩阵S′并根据相似性权重与价值矩阵V进行动态加权恢复无尘块组，并使用升维函数u将块组向量映射回初始维度：

步骤S211：使用均方误差与无尘相似块组标签优化自注意力机制去尘网络

步骤S212：重复步骤S25-S211，直至自注意力机制去尘网络训练完成。

3.根据权利要求2所述的参考图像指导下融合自注意力机制的废钢图像去尘方法，其特征在于：在步骤S21之前，通过在同一位置的带尘和无尘场景下拍摄废钢图像，得到清晰无尘图像数据集{y⁽¹⁾,y⁽²⁾,...,y^(m)}与带尘图数据像集{x⁽¹⁾,x⁽²⁾,...,x^(m)}。