[发明专利]基于对偶约束的联合学习超分辨方法

摘要

本发明公开了一种基于对偶约束的联合学习超分辨方法，主要解决现有邻域嵌入超分辨方法导致图像模糊的问题，其步骤是：(1)使用高分辨图像生成训练集，建立低分辨和高分辨图像块的成组块对；(2)提取低分辨图像块的特征向量，在训练集中查找最匹配的成组块对；(3)对成组块对中低分辨和高分辨块的特征向量，进行联合学习，构造投影矩阵，生成联合特征子空间；(4)在生成的联合特征子空间中使用邻域嵌入估计高分辨图像块；(5)将所有估计的高分辨图像块合成高分辨图像；(6)对合成的高分辨图像，利用全局重构约束和反向投影算法改善图像质量。实验结果表明，本发明具有更强的超分辨能力，可用于低分辨自然图像的放大。

主权项

1.一种基于对偶约束的联合学习超分辨方法，包括如下步骤：(1)采集高分辨灰度自然图像，模拟图像降质过程，生成低分辨图像，对低分辨图像使用双立方插值进行2倍放大，得到插值图像，对插值图像和原始高分辨图像，分别随机选择大小为6×6的低分辨图像块和对应大小为9×9的高分辨图像块，并提取水平和垂直方向上的一阶和二阶梯度特征，构造低分辨图像块训练集和高分辨图像块训练集以及高分辨图像块的高频细节训练集其中表示第i个低分辨图像块特征向量，表示第i个高分辨图像块特征向量，表示第i个高分辨图像块的高频细节特征向量，N表示训练集中样本总个数；(2)将低分辨图像块训练集和高分辨图像块训练集的每个特征对进行组合，经归一化后，得到对偶特征c_i，将N个对偶特征构成对偶特征集对每个对偶特征c_i，选择K个最近邻，构成成组块对集合其中Gⁱ表示对偶集C中第i个对偶特征c_i的K个最近邻组成的成组块对，K＝128；(3)输入待处理的低分辨彩色图像F，并将图像F从红、绿、蓝的RGB颜色空间转换到YCbCr颜色空间，其中Y表示亮度分量，两个色差分量Cb和Cr表示颜色信息；(4)对YCbCr颜色空间中的亮度分量Y使用双立方插值进行2倍放大，得到插值图像I_int；(5)将插值图像I_int自上而下、从左到右划分成大小为6×6的图像块，使相邻块之间重叠2个像素，提取该图像块在水平和垂直方向的一阶和二阶梯度特征构成低分辨图像块测试集其中表示低分辨图像块测试集X_t中的第j个特征向量，M表示该测试集X_t中样本总个数；(6)对低分辨图像块测试集中每个特征向量在低分辨图像块训练集中查找与最匹配的样本得到该样本所对应的成组块对Gⁱ，从该成组块对Gⁱ中分离出K个低分辨图像块和高分辨图像块特征向量，分别构成低分辨图像块成组矩阵J_l和高分辨图像块成组矩阵J_h，其中d和m分别是低分辨图像块和对应的高分辨图像块特征向量的维数，K表示每个成组块对中低、高分辨率特征向量组成的对偶个数，d＝144，m＝324；(7)使用联合学习方法分别构造低分辨图像块成组矩阵J_l的投影矩阵P_l和高分辨图像块成组矩阵J_h的投影矩阵P_h，将低分辨图像块测试集X_t中的特征向量通过投影矩阵P_l变换成一个(r+1≤d)维的变换特征将高分辨图像块成组矩阵J_h中的K个特征向量通过投影矩阵P_h变换成维的变换特征将低分辨图像块测试集中的特征向量的变换特征与高分辨图像块成组矩阵J_h的K个变换特征构成一个维的联合特征子空间S；(8)在联合特征子空间S中选择特征向量的变换特征的q个邻域，使用邻域嵌入算法，估计最优权值，将变换特征的q个邻域在高频细节训练集中对应的q个高频细节特征向量进行线性组合，并加上输入的低分辨图像块的灰度均值得到低分辨图像块的特征向量的高分辨图像块的估计低分辨图像块测试集中所有特征向量的高分辨图像块估计构成了预测结果集q＝5；(9)按插值图像I_int中图像块的划分顺序合并所有预测结果集对重叠区域的像素取平均值进行融合，得到高分辨图像的初始化估计X₀；(10)利用全局重构约束F＝DBX和反向投影算法，通过如下迭代公式进一步改善超分辨图像的质量：X_n+1＝X_n+α[B^TD^T(F-DBX_n)+μ(X_n-X₀)]其中n(n≥0)表示迭代次数，X₀表示高分辨图像的初始化估计，X_n表示第n次迭代后的高分辨图像，X_n+1表示第n+1次迭代的高分辨图像，F表示输入的低分辨图像，α表示梯度下降的迭代步长，B和D分别表示模糊和下采样操作，T表示矩阵的转置操作，B^T和D^T分别表示去模糊和上采样操作，μ表示反向投影约束项与先验惩罚项的平衡参数；(11)对输入的低分辨彩色图像F在YCbCr颜色空间中的两个色差分量Cb和Cr直接采用双立方插值进行3倍放大，并组合亮度分量Y的超分辨估计X_n，将YCbCr颜色空间的超分辨结果转换到RGB颜色空间，得到输入的低分辨图像F被放大了3倍的RGB图像。