[发明专利]基于相似图像检索的图像超分辨率优化方法、介质及设备

权利要求书

1.一种基于相似图像检索的图像超分辨率优化方法，其特征在于，包括如下步骤：

S1：获取满足目标分辨率要求的高分辨率图像素材库，针对待进行图像超分辨率优化的低分辨率图像，利用图像检索模型从高分辨率图像素材库中寻找与其相似高分辨率图像，得到至少一个相似高分辨率图像；

S2：将所述低分辨率图像的浅层特征和深层特征相加后进行上采样，得到第一高分辨率特征图；对每张相似高分辨率图像进行特征提取，得到第二高分辨率特征图；将所述低分辨率图像通过双三次插值算法进行插值，得到满足目标分辨率要求的高分辨率中间图像；

S3：通过基于窗口的交叉注意力机制，以所述高分辨率中间图像作为查询，抽取所述第二高分辨率特征图中与所述低分辨率图像相关的特征，将抽取到的特征与所述第一高分辨率特征图融合，融合特征经过卷积后生成的图像作为新的高分辨率中间图像；

S4：迭代执行S3，每一轮迭代均将上一轮生成的高分辨率中间图像作为交叉注意力机制新的查询，重新生成新的高分辨率中间图像；迭代完毕后，以最后一轮生成的高分辨率中间图像作为所述低分辨率图像完成图像超分辨率优化后的最终高分辨率图像；

所述S2的具体步骤如下：

S21：将低分辨率图像I_l通过一个浅层特征提取网络，得到浅层特征图F₀，浅层特征图F₀再通过一个深层特征提取网络，得到深层特征图F_D；将浅层特征图F₀和深层特征图F_D相加后，再通过子像素卷积进行上采样，得到第一高分辨率特征图F_H；

S22：将每个相似高分辨图像I_s均通过高分辨率特征提取网络，提取出第二高分辨率特征图其中H、W、C分别为第二高分辨率特征图的高度、宽度和通道数；

S23：将待进行图像超分辨率优化的低分辨率图像I_l通过双三次插值算法插值至目标分辨率，得到高分辨率中间图像I_bic；

所述S3的具体步骤如下：

S31：将经过双三次插值算法插值得到的高分辨率中间图像I_bic通过高分辨率特征提取网络，提取得到特征图

S32：针对每一个第二高分辨率特征图F_si，将F_bic和F_si分别划分为M×M大小的窗口，分别得到窗口化的特征图和特征图将F′_bic和F′_si的每个窗口均做最大池化，得到窗口最大池化后的特征图和特征图针对特征图F_bic,mp中的个窗口和特征图F_si,mp中的个窗口计算两两窗口之间C个通道值的相似度，形成矩阵其中矩阵S_bsi中第m行第n列的元素为特征图F_bic,mp中的第m个窗口和特征图F_si,mp中的第n个窗口之间的相似度；对矩阵S_bsi的每一行进行最大值搜索，对矩阵S_bsi中任意第m行仅保留该行的最大值，并将该最大值在特征图F_si中对应映射的窗口作为特征图F_bic中的第m个窗口的最相似窗口，矩阵S_bsi的所有行均仅保留最大值后，得到向量

S33：将S1中得到的所有K张相似高分辨图像的矩阵S_bsi,max拼接，得到窗口相似度矩阵

S34：通过交叉注意力机制，为特征F_bic中的每个窗口都从F_si里对应的最相似窗口中抽取到窗口相似特征F_ai,j：

其中，i＝1,2,…,K，j＝1,2,…,

S35：对窗口相似度矩阵S_bs,max中第j行的相似度向量对其做softmax归一化，得到归一化向量S′_bs,max,j；将K张相似高分辨图像的窗口相似特征F_ai,j拼接，得到拼接特征以归一化向量S′_bs,max,j对得到的拼接特征F_aj加权求和，得到特征图F_bic中第j个窗口的相似高分辨率特征将特征图F_bic中所有窗口的相似高分辨率特征拼接，得到最终的第三高分辨率特征图

S36：将第一高分辨率特征图F_H与第三高分辨率特征图在通道维度上拼接后，再通过3×3的卷积得到高分辨率图像I_o1，作为新的高分辨率中间图像。