[发明专利]参考图像指导下融合自注意力机制的废钢图像去尘方法及系统

说明书

本发明提出一种参考图像指导下融合自注意力机制的废钢图像去尘方法及系统，首先使用马氏距离和欧式距离在无尘参考图像及带尘图像上构建相似块组标签；随后定义距离度量和对比损失函数构建全卷积相似块组搜索网络。利用带标签的相似块组训练神经网络，获得与块匹配相关的特征；对带尘图像进行分块，针对每个带尘图像块，在学习到的特征指导下寻找相似块。带尘的相似块构成块组，融合自注意力机制，构建块组协同去尘网络。经过块组协同去尘得到干净块组，通过聚合图像块得到复原后清晰的无尘图像。

技术领域

本发明属于图像处理、机器学习技术领域，尤其涉及一种参考图像指导下融合自注意力机制的废钢图像去尘方法及系统。

背景技术

废钢，指的是钢铁厂生产过程中不成为产品的钢铁废料(如切边、切头等)以及使用后报废的设备、构件中的钢铁材料，成分为钢的叫废钢；成分为生铁的叫废铁，统称废钢。在当下前沿技术中，废钢可以在回收的过程中进行智能检判，从而提高检测效率降低生产成本。

但目前遇到的技术问题主要是，废钢在装卸时，会引起大量的尘土，造成废钢图像质量的退化，影响废钢等级评价。因此如何进行去尘进而获得更加真实的图像信息成为一个难点。图像去尘是指从被灰尘污染的图像中恢复干净图像，是提高高级计算机视觉任务(如分类，检测，分割)性能的基础。针对图像去尘问题已经产生了许多成功的算法，大多数的去尘方法主要依赖图像内部的自相似性来恢复干净图像。通过在灰尘图像块邻域内寻找相似图像块组成相似块组进行协同去尘。但传统的块匹配算法使用欧式距离来搜索相似块组，这种方法不够准确且仅考虑图像块的色彩相似性忽略了图像块的结构相似性。在协同去尘步骤中，稀疏表示，低秩等传统去尘算法仅使用相似块组内部的相似性对图像块进行重构，忽略了灰尘相似块组与干净图像块的相似程度这一因素。所以如何快速准确地寻找高质量相似块组以及高效地进行协同去尘一直是这类图像去尘算法的难题。

发明内容

为了弥补现有技术的空白和不足，本发明提出一种参考图像指导下融合自注意力机制的废钢图像去尘方法及系统，首先使用马氏距离和欧式距离在无尘参考图像及带尘图像上构建相似块组标签；随后定义距离度量和对比损失函数构建全卷积相似块组搜索网络。利用带标签的相似块组训练神经网络，获得与块匹配相关的特征；对带尘图像进行分块，针对每个带尘图像块，在学习到的特征指导下寻找相似块。带尘的相似块构成块组，融合自注意力机制，构建块组协同去尘网络。经过块组协同去尘得到干净块组，通过聚合图像块得到复原后清晰的无尘图像。本发明通过融合欧式距离与马氏距离解决了块匹配算法搜索相似块组不够准确且忽略图像块结构特征的问题，并融合参考图像特征及自注意力机制对图像块进行去尘，解决了传统的去尘算法忽略带尘块组与干净图像块之间的相似性问题。

本发明具体采用以下技术方案：

一种参考图像指导下融合自注意力机制的废钢图像去尘方法，其特征在于：首先使用马氏距离和欧式距离在无尘参考图像及带尘图像上构建相似块组标签；之后定义距离度量和对比损失函数构建全卷积相似块组搜索网络；利用带标签的相似块组训练神经网络，获得与块匹配相关的特征；再对带尘图像进行分块，针对每个带尘图像块，在学习到的特征指导下寻找相似块；带尘的相似块构成块组，融合自注意力机制，构建块组协同去尘网络；经过块组协同去尘得到干净块组，最后通过聚合图像块得到复原后清晰的无尘图像。

进一步地，具体包括以下步骤：

步骤S21：对无尘图像{y⁽¹⁾,y⁽²⁾,...,y^(m)}进行分块每张图像共有N个参考图像块，根据参考块构建灰度相似块组训练高斯混合模型，假设高斯混合模型子空间K，使用高斯混合模型对每个无尘图像块进行子空间分类，得出对应的协方差矩阵，进而在无尘参考图像块对应的带尘图像邻域w内分别使用马氏距离及欧式距离计算出相似块的正负样本标签位置，表示马氏距离下的正负样本标签，表示欧式距离下的正负样本标签：