[发明专利]基于邻域回归的超分辨率方法

摘要

为了提高单幅图像超分辨率方法中重建图像的质量，提出了利用训练字典相互不一致性和局部正则化锚定邻域回归的超分辨率重建方法。在训练阶段，把字典原子和原子之间的相互一致性引入到字典训练的过程中，使得到的训练原子字典间尽可能相互独立，获得更大的训练字典中的相互不一致性。然后，把局部约束回归的方法加入到岭回归过程，给字典中的每个原子分配不同程度的自由度，更灵活地计算投影矩阵。实验表明，在差不多的计算复杂度下，所提出的方法的性能好于目前性能最优的ANR方法，可以进一步提高重建图像的质量。

主权项

1.本发明提出了一种图像超分辨率的方法，其特征在于包含如下所述的训练阶段和对低分辨率图像的在线放大的阶段；本发明的训练阶段的过程可以如下描述：输入A：大量的高分辨率的图像，图像放大的倍数s_f×s_f，输出A：主成分分析法中的变换矩阵T_l，低分辨率的字典D_l，字典原子d_i为字典D_l的第i列，和此字典原子d_i对应的投影矩阵P_G(d_i)，高分辨率的字典D_h，步骤A1)对输入的所有的高分辨率图像进行滤波和下采样处理，下采样的因子为s_f×s_f，得到相应的所有的低分辨率图像，对所有的低分辨率的图像和对应的高分辨率的图像进行分块，得到包含低分辨率图像块和高分辨率图像块对的集合{(p_l(i)，p_h(i))|1≤i≤N}，其中p_l(i)为第i个低分辨率的图像块，p_h(i)为第i个高分辨率的图像块，总块数为N，采用如下四个模板M₁＝[‑1，0，1]，M₂＝[‑1，0，1]^T，M₃＝[1，0，‑2，0，1]，M₄＝[1，0，‑2，0，1]^T依次对所有的低分辨率的图像块p_l(i)进行卷积操作，得到低分辨率图像块p_l(i)的高频信息，扩充图像块p_l(i)的行数，把这些高频信息加入到图像块p_l(i)扩充的行中，得到初始的低分辨率特征块，然后，对所有的初始的低分辨率特征块用主成分分析法进行降维，得到变换矩阵T_l和低分辨率图像特征块p_lf(i)，对低分辨率的图像块p_l(i)进行双三次插值放大处理，得到低频的高分辨率图像块，把高分辨率图像块p_h(i)和此低频的高分辨率图像块相减，得到含有高频特征信息的高分辨率图像特征块p_lh(i)；步骤A2)对以下问题(1)进行求解，得到低分辨率字典D_l和对应的稀疏矩阵A，其中，Y是由低分辨率图像特征块p_lf(i)所构成的矩阵，每一个低分辨率的图像特征块p_lf(i)构成此矩阵的一列：Y＝[y₁，...，y_N]∈R^S×N，这里y_i是由p_lf(i)的行的堆叠而构成的矢量，即在特征块p_lf(i)中的第m行第n列的元素为矢量y_i的第(m×N_l+n)个元素，其中，N_l为特征块p_lf(i)的每行中的元素的个数，S是低分辨率图像特征块p_lf(i)的维数，N是所有低分辨率训练图像块的个数，即训练样本的数量，A是由稀疏系数所构成的矩阵：A＝[a₁，...，a_N]∈R^M×N，D_l表示训练的低分辨率字典：D_l＝[d₁，...，d_M]∈R^S×M，M表示低分辨率字典的列数，||·||_F表示矩阵的Frobenius范数，d_i表示字典D_l中第i列的原子，项为本发明引入的约束项，以增大字典原子分布的范围，设置λ₁为λ₁＞0的参数，s.t.表示数学中的subject to，即表示后面为必须满足的约束条件，符号表示数学中任给的意义，这里表示，对任意的m，d_m字典原子的二范数为1，对任意的n，矩阵A的第n列a_n的0范数满足小于K₁的条件，即a_n中的非零元素的个数满足小于K₁的条件，参数K₁用来控制稀疏程度，然后，初始的D_l由随机选择的矩阵Y中的M个列构成，接着先固定低分辨率的字典D_l，以A为变量，最小化(1)中的目标函数，采用最优匹配方法(optimal matching pursuit，OMP)来求解稀疏稀疏矩阵A，然后，固定稀疏系数矩阵A，以D_l为变量，最小化此目标函数，采用梯度下降法来求解更新的D_l，接着，以不断地固定一个变量，优化另一个变量的方法来求解问题(1)，直到求解达到预定的迭代次数I为止，这时，可以输出优化的求解出的低分辨率字典D_l和对应的稀疏矩阵A，得到低分辨率字典D_l之后，用求伪逆的方法得出高分辨率字典，即D_h＝Q_hA^T(AA^T)^‑1  (2)其中Q_h＝[q₁，q₂，...，q_N]表示由所有高分辨率图像特征块p_lh(i)的所构成的矩阵，其中矢量化的p_lh(i)为矩阵Q_h的第i列q_i，即在特征块p_hf(i)中的第m行第n列的元素为矢量q_i的第(m×N_h+n)个元素，N_h为p_lf(i)图像块中每行的元素的个数；步骤A3)对低分辨率字典中的第i列，即第i个原子d_i，求解如下的问题(9)其中，d_i表示第i个字典原子，λ₂是平衡重建误差与矢量a的局部性解的一个参数，是本发明所提出的局部正则化项，G是衡量d_i和字典原子之间距离的矩阵，这给字典中的每个原子提供了不同程度的自由度，对角矩阵G的定义如下：其中矩阵G中的元素g_i采用下式来求得其中，e＝d_i，c_i是低分辨率字典中的第i个距离e最近的原子，“⊙”符号表示两个矢量的点乘，|z|表示求z的绝对值，在低分辨率字典中取K个离e最近的原子，构成其邻域矩阵N_l，参数b用来调整衰减速度，对问题(9)求解可得：因此，投影矩阵可以由下式(11)离线求解：其中，对于d_i，在低分辨率字典中取K个离其最近的原子，其位置为l_k，1≤k≤K，所有这些原子在高分辨率字典的对应位置l_k处的列矢量可以构成矩阵N_h，在对所有的低分辨率字典中的列，都按此步骤求得了投影矩阵之后，输出并存储这些求得的变换矩阵、投影矩阵、低分辨率字典、和高分辨率字典，就完成了离线的训练阶段；本发明的在线的图像放大的处理过程可以描述如下：输入B：一幅低分辨率的图像L，主成分分析法的变换矩阵T_l，训练阶段求得的低分辨率的字典D_l，高分辨率的字典D_h，以及低分辨率的字典的每一列d_i所对应的投影矩阵P_G(d_i)，输出B：一幅放大s_f×s_f倍的高分辨率的图像，步骤B1)对输入的低分辨率的图像进行分块，得到图像块pb_l(i)，采用如下四个模板M₁＝[‑1，0，1]，M₂＝[‑1，0，1]^T，M₃＝[1，0，‑2，0，1]，M₄＝[1，0，‑2，0，1]^T依次对所有的低分辨率的图像块pb_l(i)进行卷积操作，得到低分辨率图像块pb_l(i)的高频信息，扩充pb_l(i)的行数，把这些信息加入到低分辨率图像块pb_l(i)后面的行中，得到初始的低分辨率特征块，然后，对所有的初始的低分辨率特征块，用和训练阶段A1步骤中同样的主成分分析法进行降维，得到低分辨率图像特征块pfb_lf(i)，矢量化pfb_lf(i)，可以得到低分辨率图像特征块矢量pb_lf(i)，对低分辨率的图像块pb_l(i)进行双三次插值放大处理得到图像块pbf_l(i)，矢量化pbf_l(i)，可以得到低频的高分辨率图像块矢量pblf_l(i)，以上，在对某个块bl矢量化为某个矢量bv的过程中，块bl中的第m行第n列的元素为矢量bv的第(m×N_l+n)个元素，N_l为块bl的每一行的元素的个数，步骤B2)i＝1，步骤B3)对低分辨率图像特征块矢量pb_lf(i)，根据向量相关性找到在低分辨率字典中的所有的列中距离pb_lf(i)最近的一个列即距离pb_lf(i)最近的一个字典原子并记下该字典原子在低分辨率字典中的位置，相应地，找到已经离线求出该字典原子的投影矩阵从而利用如下的公式(12)计算高分辨率图像特征块矢量x_F(i)，把pblf_l(i)和x_F(i)进行相加，可以得到高分辨率图像块矢量BHV(i)，即BHV(i)＝x_F(i)+pblf_l(i)  (13)从高分辨率图像块矢量BHV(i)得到高分辨率图像块BH(i)，即块BH(i)中的第m行第n列的元素为矢量BHV(i)的第(m×N_h+n)个元素，其中N_h为块BH(i)的每一行的元素的个数，步骤B4)让i＝i+1，对下一个低分辨率图像特征块矢量pb_lf(i)进行步骤B3的处理，找到其对应的高分辨率图像块BH(i)，直到所有从低分辨率图像中提取的低分辨率特征块矢量都经过了以上步骤B3的处理为止，步骤B5)对得到的所有的高分辨率图像块，根据位置信息把它们拼接起来，对于高分辨率块的重叠区域采取求平均值的方法得到高分辨率像素的值，这样，可以得到一幅初始的高分辨率图像X₀，步骤B6)对高分辨率图像利用以下的公式(14)进行迭代修正X_t+1＝X_t+((L‑DHX_t)↑(s_f×s_f))*p  (14)其中，L表示输入的低分辨率的图像，H表示高分辨率图像上的滤波操作，D为下采样矩阵，X_t表示经过t次迭代后得到的高分辨率图像，↑(s_f×s_f)表示对图像进行上采样s_f×s_f倍，p表示高斯滤波器中的系数矩阵，符号“*”表示卷积操作，本发明中，把经过I次迭代后的结果X_l作为最终的输出高分辨率图像。