[发明专利]基于相似图像检索的图像超分辨率优化方法、介质及设备

说明书

本发明公开了一种基于相似图像检索的图像超分辨率优化方法、介质及设备，属于图像数据处理领域。该方法首先从高分辨率图像素材库中检索相似高分辨率图像；然后提取相似高分辨率图像的特征，并引入注意力机制，以双三次插值算法得到的高分辨率中间图像作为查询，抽取相似高分辨率图像中与低分辨率图像相关的特征，与低分辨率图像上采样后的特征融合，生成高分辨率图像；最后将生成的高分辨率图像作为注意力机制新的查询，通过迭代得到最终的高分辨率图像生成结果。本发明结合与输入图像相似的高分辨率图像的相关细节特征，通过注意力机制来增强低分辨率图像的特征表达，更好地生成低分辨率图像的高分辨率版本。

技术领域

本发明属于图像数据处理领域，尤其涉及计算机视觉中的图像检索和图像超分辨率的方法。

背景技术

图像超分辨率(Image super-resolution,SR)，旨在从低分辨率的对应图像中重建出高分辨率的图像。该任务可以从低分辨率的图像中还原出高分辨率的图像，能够大大降低人工绘制高分辨率图像素材的成本，快速提供高分辨率图像素材。

与传统的基于模型的图像超分辨率，当前的主流图像超分辨率方案是基于深度学习的，尤其是一些基于卷积神经网络(CNN)的方案。这类模型通常通过大规模的高低分辨率图像对的数据集，去学习低分辨率图像和高分辨率图像之间的映射。现在主流的超分辨率方向是通过增加模型的复杂度来获得提升，包括使用注意力机制、残差连接和紧密连接设计。近些年，又由于Transformer类模型在计算机视觉和自然语言处理领域的流行，现在最先进的图像超分辨率模型是基于Transformer的模块设计的。所以本文所提出的超分辨率模型是基于最新的Transformer结构来设计的，其较之CNN的传统深度学习模型，有所提升。

但这些在模型结构上优化的图像超分辨率方案，都只考虑了本身输入的低分辨率图像的浅层和深层特征。由于输入的数据仅仅为低分辨率图像，低分辨率图像在上采样生成高分辨率图像的过程，模型并没有直观地接收到高分辨率图像的细节，最终难以产生和真实高分辨率图像细节相当的结果。

发明内容

本发明的目的是为了实现低分辨率的图像素材转化为高分辨率的图像素材，提出了一种基于相似图像检索的图像超分辨率优化方法，预期在给定低分辨率图像和已有一定高分辨率图像的基础下，将低分辨率图像更好地转化为高分辨率地图像。本发明的发明构思是利用相似的高分辨率图像中的相似的细节特征，来增强原低分辨率图像上采样之后的特征表达，以此产生更好的高分辨率图像。

为了实现上述发明目的，本发明具体采用如下的技术方案：

第一方面，本发明提供了一种基于相似图像检索的图像超分辨率优化方法，其包括如下步骤：

S1：获取满足目标分辨率要求的高分辨率图像素材库，针对待进行图像超分辨率优化的低分辨率图像，利用图像检索模型从高分辨率图像素材库中寻找与其相似高分辨率图像，得到至少一个相似高分辨率图像；

S2：将所述低分辨率图像的浅层特征和深层特征相加后进行上采样，得到第一高分辨率特征图；对每张相似高分辨率图像进行特征提取，得到第二高分辨率特征图；将所述低分辨率图像通过双三次插值算法进行插值，得到满足目标分辨率要求的高分辨率中间图像；

S3：通过基于窗口的交叉注意力机制，以所述高分辨率中间图像作为查询，抽取所述第二高分辨率特征图中与所述低分辨率图像相关的特征，将抽取到的特征与所述第一高分辨率特征图融合，融合特征经过卷积后生成的图像作为新的高分辨率中间图像；

S4：迭代执行S3，每一轮迭代均将上一轮生成的高分辨率中间图像作为交叉注意力机制新的查询，重新生成新的高分辨率中间图像；迭代完毕后，以最后一轮生成的高分辨率中间图像作为所述低分辨率图像完成图像超分辨率优化后的最终高分辨率图像。

作为上述第一方面的优选，所述S1中，高分辨率图像素材库内的高分辨率图像的分辨率与图像超分辨率优化的目标分辨率一致，且与所述低分辨率图像属于相同的主题。