[发明专利]一种基于高低频信息分解的图像超分辨率重建方法

权利要求书

1.一种基于高低频信息分解的图像超分辨率重建方法，其特征在于，包括以下步骤：

步骤1：对超分辨率数据集做数据预处理，得到训练神经网络所需的LR-HR图像块对，具体为：

1)先对超分辨率数据集中HR图像做双三次插值得到其对应的LR图像，构成LR-HR图像对；

2)再对LR-HR图像对做数据增强，以增强训练样本的数据量；

3)最后从数据增强后的每张HR图像中随机选取图像块，每个HR图像块与其对应的LR图像块构成LR-HR图像块对；

步骤2：将HR图像块G进行高低频信息分解，具体如下：

1)HR图像块G的每点像素值乘以(-1)^x+y进行中心变换，得到图像块G'；其中x＝0,1,...,127，y＝0,1,...,127，(x,y)表示HR图像块G的每一像素点位置；

2)对图像块G'做二维离散傅里叶变换，即根据下式对离散变量u和v在规定范围内求值，得到频谱函数F(u,v)；

其中，M＝N＝128，即HR图像块G尺寸为128×128，u＝0,1,2,...,127，v＝0,1,2,...,127；u，v表示图像频域空间位置；

3)用滤波器函数H(u,v)乘以频谱函数F(u,v)进行滤波；滤波后的图像F'(u,v)为：

F'(u,v)＝H(u,v)×F(u,v)

其中，D₀为高斯核的标准差；

4)对滤波后的图像F'(u,v)做二维离散傅里叶反变换，并取变换后结果的实部；变换公式如下：

其中，x＝0,1,2,...,M-1，y＝0,1,2,...,N-1；

5)用(-1)^x+y乘以步骤4)中变换结果Re(f'(x,y))，再取消步骤1)中对HR图像块G的乘数(-1)^x+y，即将频域中心平移回来，得到HR图像块G的低频信息图像G₁，其包含原HR图像块G的低频信息和部分中频信息，高频信息图像G₂为HR图像块G与低频信息图像G₁的差，即G₂＝G-G₁，其包含G的高频信息和部分中频信息；

步骤3：构建卷积神经网络模型；

所述卷积神经网络模型具有两条分支，都采用同一LR图像作为输入；其中，一个分支依次通过卷积层、若干残差块、卷积层、上采样层和卷积层生成HR高频信息的图像，另一分支依次通过卷积层、若干残差块、卷积层、上采样层和卷积层生成HR低频信息的图像，且生成HR高频图像时采用的残差块数量多于生成HR低频图像时采用的残差块数量；再将HR高频信息的图像和HR低频信息的图像相加，输出最终的HR图像；

步骤4：利用步骤1和步骤2生成的训练样本数据对步骤3构建的卷积神经网络模型进行训练，得到优化后的卷积神经网络模型；

步骤5：利用优化后的卷积神经网络模型，输入LR图像，生成对应的HR图像。

2.如权利要求1所述的一种基于高低频信息分解的图像超分辨率重建方法，其特征在于，在步骤1中，对LR-HR图像对做数据增强具体是：对LR-HR图像对做水平和垂直翻转以及90°旋转，从而得到16倍的训练数据数量。

3.如权利要求1所述的一种基于高低频信息分解的图像超分辨率重建方法，其特征在于，所述步骤3还包括：使用L₁范数损失函数作为代价函数，训练神经网络并更新权重；L₁范数损失函数是把目标值Y_i与估计值f(x_i)的绝对插值的总和S最小化，即

4.如权利要求1所述的一种基于高低频信息分解的图像超分辨率重建方法，其特征在于，在步骤2中，滤波器函数H(u,v)选用高斯低通滤波器核。

5.如权利要求1所述的一种基于高低频信息分解的图像超分辨率重建方法，其特征在于，所述步骤3中，卷积神经网络模型中残差块结构都相同，即采用卷积层-ReLU非线性激活层-卷积层加上一条跳过连接的结构。

6.如权利要求1所述的一种基于高低频信息分解的图像超分辨率重建方法，其特征在于，在步骤3中，所述卷积神经网络模型网络中的卷积层都采用3×3结构，通道数为256个。