[发明专利]基于深度度量学习的图像超分辨方法

说明书

技术领域

本发明属于图像处理技术领域，主要涉及图像超分辨重构，具体是一种深度度量学习的图像超分辨重构方法，该方法可用于各类自然图像的超分辨率重构。

背景技术

图像超分辨重构是通过一幅或多幅低分辨率图像，重构出更高分辨率的图像。这种方法克服了传统图像传感器的分辨率限制和代价高的缺点，是一种低成本、高效的提高成像质量的方法。基于邻域嵌入的方法是一种有代表性的基于学习的图像超分辨重构方法，特征表示和近邻选取是这种方法中最重要的两个部分，如何得到一个比较好的特征空间，如何获得流形结构中比较准确的近邻关系，对超分辨率重建结果有着非常重要的影响。然而，传统的方法仅在图像的初级特征空间上求解稀疏编码系数和学习嵌入空间，使得稀疏性与流形假设难以严格满足，直接导致了图像重构质量的下降。

发明内容

本发明的目的在于克服上述已有技术的缺点，提出一种基于深度度量学习的图像超分辨重构方法，改善特征提取的过程以及固定邻域大小的限制，提高重构图像的效率和质量。

本发明是一种基于深度度量学习的图像超分辨重构方法，其特征在于，包括有如下步骤：

步骤1：将训练样本中的低分辨率图像和高分辨图像分割成对应的图像块，选取每个高分辨率训练样本图像块的前K个近邻作为相似样本对，构建深度度量网络的输入数据 X＝{(x_i,x_j,l_ij)}；

步骤2：将输入数据X＝{(x_i,x_j,l_ij)}按照神经网络训练的方法训练一个深度度量神经网络模型

步骤3：将训练样本库中的每一个低分辨样本，经过深度度量网络，得到一个新的非线性特征库；

步骤4：将输入的低分辨图像分割成图像块，并将每一个图像块经过深度度量神经网络中得到一个新的特征；

步骤5：对于每一个图像块的特征，用稀疏多流形嵌入的方法在低分辨率训练样例库中去寻找近邻，得到编码系数，将编码系数与对应高分辨率图像块相乘，得到高分辨率图像块集

步骤6：将高分辨率图像块集中的所有高分辨率图像输出小块按顺序放到待重构的高分辨率图像的对应位置上，得到最终的高分辨率图像X^*。

本发明的技术方案是首先对训练样例图像分块并训练一个深度度量神经网络模型；接着将低分辩率训练样例送入训练好的神经网络得到低分辩图像的特征库；然后将输入的低分辩图像分块后送入神经网络得到其特征；最后利用稀疏多流形嵌入的方法在低分辩图像的特征库中寻找近邻，计算编码系数，将编码系数与对应高分辨率图像块相乘，得到高分辨率图像块，拼接高分辨率图像块完成图像超分辨重构。

本发明与现有的技术相比具有以下优点：

1.本发明基于深度度量学习的方法，引入了深度度量神经网络学习图像块的特征，更准确的描述图像本身的方向及纹理性质，通过特征找到的近邻更加准确；

2.本发明基于稀疏多流形嵌入的思想，用稀疏多流形嵌入的方法在样本库中寻找近邻，重构高分辨图像时恢复效果提高。

附图说明

图1是本发明的总流程图；

图2是本发明采用的植物训练图像；

图3是本发明采用的动物训练图像；

图4是本发明采用的人训练图像；

图5是用本发明对测试Butterfly图像的重构效果图；

图6是用本发明对测试Parrot图像的重构效果图；

图7是用本发明对测试Hat图像的重构效果图；

具体实施方法

下面结合附图对本发明详细说明：

本发明是一种基于深度度量学习的图像超分辨重构方法，参见图1，本发明对图像超分辨重构包括有如下步骤：

步骤1：将训练样本中的低分辨率图像和高分辨图像分割成对应的图像块，选取每个高分辨率训练样本图像块的前K个近邻作为相似样本对，构建深度度量网络的输入数据X＝{(x_i,x_j,l_ij)}。

步骤2：将输入数据X＝{(x_i,x_j,l_ij)}按照神经网络训练的方法训练一个深度度量神经网络模型。

其中步骤2中的对深度度量神经网络对进行训练，包括有如下步骤：

2a)设置网络的层数M，阈值τ，学习率μ，迭代次数T，正则化参数λ，收敛误差ε；