[发明专利]一种基于高低频信息分解的图像超分辨率重建方法

摘要

本发明公开了一种基于高低频信息分解的图像超分辨率重建方法，包括以下步骤：对超分辨率数据集做数据预处理，得到训练神经网络所需的LR‑HR图像块对；将HR图像块G进行高低频信息分解；构建卷积神经网络模型；利用前述步骤生成的训练样本数据对构建的卷积神经网络模型进行训练，得到优化后的卷积神经网络模型；利用优化后的卷积神经网络模型，输入LR图像，生成对应的HR图像。本发明设计了优化的神经网络结构，有效生成HR图像的低频和高频信息，更好地重建高分辨率的图像。

主权项

1.一种基于高低频信息分解的图像超分辨率重建方法，其特征在于，包括以下步骤：步骤1：对超分辨率数据集做数据预处理，得到训练神经网络所需的LR‑HR图像块对，具体为：1)先对超分辨率数据集中HR图像做双三次插值得到其对应的LR图像，构成LR‑HR图像对；2)再对LR‑HR图像对做数据增强，以增强训练样本的数据量；3)最后从数据增强后的每张HR图像中随机选取图像块，每个HR图像块与其对应的LR图像块构成LR‑HR图像块对；步骤2：将HR图像块G进行高低频信息分解，具体如下：1)HR图像块G的每点像素值乘以(‑1)^x+y进行中心变换，得到图像块G'；其中x＝0,1,...,127，y＝0,1,...,127，(x,y)表示HR图像块G的每一像素点位置；2)对图像块G'做二维离散傅里叶变换，即根据下式对离散变量u和v在规定范围内求值，得到频谱函数F(u,v)；其中，M＝N＝128，即HR图像块G尺寸为128×128，u＝0,1,2,...,127，v＝0,1,2,...,127；u，v表示图像频域空间位置；3)用滤波器函数H(u,v)乘以频谱函数F(u,v)进行滤波；滤波后的图像F'(u,v)为：F'(u,v)＝H(u,v)×F(u,v)其中，D₀为高斯核的标准差；4)对滤波后的图像F'(u,v)做二维离散傅里叶反变换，并取变换后结果的实部；变换公式如下：其中，x＝0,1,2,...,M‑1，y＝0,1,2,...,N‑1；5)用(‑1)^x+y乘以步骤4)中变换结果Re(f'(x,y))，再取消步骤1)中对HR图像块G的乘数(‑1)^x+y，即将频域中心平移回来，得到HR图像块G的低频信息图像G₁，其包含原HR图像块G的低频信息和部分中频信息，高频信息图像G₂为HR图像块G与低频信息图像G₁的差，即G₂＝G‑G₁，其包含G的高频信息和部分中频信息；步骤3：构建卷积神经网络模型；所述卷积神经网络模型具有两条分支，都采用同一LR图像作为输入；其中，一个分支依次通过卷积层、若干残差块、卷积层、上采样层和卷积层生成HR高频信息的图像，另一分支依次通过卷积层、若干残差块、卷积层、上采样层和卷积层生成HR低频信息的图像，且生成HR高频图像时采用的残差块数量多于生成HR低频图像时采用的残差块数量；再将HR高频信息的图像和HR低频信息的图像相加，输出最终的HR图像；步骤4：利用步骤1和步骤2生成的训练样本数据对步骤3构建的卷积神经网络模型进行训练，得到优化后的卷积神经网络模型；步骤5：利用优化后的卷积神经网络模型，输入LR图像，生成对应的HR图像。