[发明专利]基于多级联金字塔模型的深度图像超分辨率网络算法

权利要求书

1.一种基于多级联金字塔模型的深度图像超分辨率网络算法，其特征在于，包括如下步骤：

步骤1、预处理阶段：构建一种新的网络训练方法，将学习RGB图像R和深度D之间的差异逼近真值X作为输入信息；

步骤2、训练阶段：输入信息经过四级金字塔训练，合成更高质量的图像信息并通过金字塔最底端输出；

步骤3、优化阶段：通过基于离散余弦变换结构的深度网络特征提取模块(N_DCT)优化问题获取高质量的深度图特征，进一步增强优化函数的灵活性；

步骤4、检测阶段：将经过训练的残差结果H与深度图像D相加反向传播矫正H用于恢复超分辨率的图像O。

2.根据权利要求1所述的基于多级联金字塔模型的深度图像超分辨率网络算法，其特征在于，步骤1包括如下分步骤：

步骤1-1、给定同一场景中的高分辨率RGB图像R∈R^M×N×3和深度图像D∈R^m×n作为输入，其中，{M,N}，{m,n}分别是输入RGB图像和深度图像的高度和宽度，目标是获得高分辨率的深度图像H∈R^M×N；

步骤1-2、进行一些预处理，首先，得到RGB图像颜色空间Y通道的信息R^Y∈R^M×N×3以及深度图像的上采样图像D^upsample∈R^m×n，模型输入则表达为：

X＝GT-(D^upsample-R^Y)

其中X表示得到的输入信息，GT代表真值Groundtruth，真值GT逼近给定同一场景下的彩色图像R和深度D之间的差异。其次，引入增强空间注意机制模块，以轻量级和高效的方式突出注意力权重，有助于辨别特征的学习，突出显示RGB图像特征中的边缘部分，边缘权值表示为：

其中，表示图像R通道y的特征，ω(·)表示边缘注意权重模块的操作。

3.根据权利要求2所述的基于多级联金字塔模型的深度图像超分辨率网络算法，其特征在于，步骤2包括如下分步骤：

步骤2-1，使用了拉普拉斯金字塔进行图像分离，恢复后的图像再用高斯金字塔进行重建；

步骤2-2，在获取了每层的图像输出L(H)之后，使用高斯金字塔重建。

4.根据权利要求3所述的基于多级联金字塔模型的深度图像超分辨率网络算法，其特征在于，所述步骤2-1中，首先，通过n级拉普拉斯金字塔，将图像分离为n级特征图，表达形式为：

L_n(X)＝G_n(X)-upsample(G_n+1(X))

其中，L_n为第n级拉普拉斯金字塔的特征图，n的取值范围是在(1,N-1)之间的整数，N为金字塔的最高层数，upsample是上采样操作，G_n为高斯金字塔，表达式如下：

G_n(X)＝downsample(G_n-1(X))

初始值设置为G₁(X)＝X，downsample是使用高斯核进行下采样的操作，

所述步骤2-2，在获取了每层的图像输出L(H)之后，通过高斯金字塔重建进行重建，描述为如下：

G_N(H)＝max(0,L_N(H))

G_n(H)＝max(0,L_n(H)+upsample(G_n+1(H)))

这里的n＝1,…,N-1，因为每层高斯金字塔只能大于等于0，因此在这里使用了max(0,x)，最终输出的结果为高斯金字塔的最底层G₁(H)。