[发明专利]基于图像分解的单一深度图的超分辨率方法

权利要求书

1.基于图像分解的单一深度图的超分辨率方法，其特征在于，按照以下步骤进行：

步骤1)构建训练数据集和测试数据集；

步骤2)使用深度对偶分解模块学习从低分辨率到高分辨率的映射；

利用深度对偶分解模块完成从低分辨率深度图到一对高分辨率的高质量精细结构图和粗糙结构图T_high和S_high，深度对偶分解模块包括了两个对偶支路，分别是高质量精细结构图的预测支路和高质量粗糙结构图的预测支路；

在深度对偶分解模块的高质量粗糙结构图预测支路中，使用三个卷积层去提取低分辨率特征，然后在转置卷积层中对这些特征进行上采样以获得接下来，将和二倍上采样的超分辨率先验图像沿通道维度级联，其结果作为第二阶段的输入，第二阶段依次使用三个卷积层、一个转置卷积层和一个卷积层，最后，将第二阶段的输出和四倍上采样的超分辨率先验图像逐像素相加，即可得到高质量粗糙结构图；

深度对偶分解模块的高质量精细结构图的预测支路的拓扑结构和高质量粗糙结构图的预测支路一样，它们的差异之处主要在于高质量精细结构图的预测支路没有使用残差学习，因此该支路不需要逐像素相加操作；

步骤3)利用深度图的初始化增强模块来生成高分辨率的初始化深度图D₀；

深度图初始化增强模块的网络结构与高质量粗糙结构图的预测支路相同；

步骤4)将从深度对偶分解模块和深度图初始化增强模块获得的三个图像，输入到深度图重建模块中进行加权融合并重建残差图像，最终通过逐像素求和操作将该残差图像和高分辨率的初始化深度图组合起来，即可得到最终预测的深度图D₁。

2.根据权利要求1所述的基于图像分解的单一深度图的超分辨率方法，其特征在于：所述步骤4)的具体操作如下：

先将从初始深度图D₀、预测的深度粗糙结构图像S_high和精细结构图像T_high这三个图像中分别都使用三个操作即一个卷积层、一个批归一化层和激活层来提取浅层特征作为深度图重建模块的加权融合单元的输入，然后，使用加权融合单元对提取浅层特征进行融合；

融合的具体操作依次包括：对三个浅层特征取绝对值；使用三个3x3卷积层提取特征；使用Sigmoid函数对提取到的三组特征图进行激活；使用三个激活后的图像逐像素地进行归一化得到三个权值矩阵；使用归一化的权值矩阵对输入的浅层特征进行逐像素加权求和，为了充分地利用加权融合单元输出的融合特征，这里使用三个残差卷积提取更多丰富特征，并使用一个输出卷积层来重建残差图像，最终，将初始深度图D₀和重建的残差图像以求和的方式得到最终预测的深度图D₁。

3.根据权利要求1所述的基于图像分解的单一深度图的超分辨率方法，其特征在于：还包括损失函数，网络训练总损失包括深度图对偶分解损失和深度图重建损失，深度图对偶分解损失包括深度图粗糙结构预测损失和深度图精细结构预测损失，而深度图重建损失包括初始深度图重建损失和最终深度图重建损失；

将低分辨率深度图所对应的标签图即原始的无失真深度图与初始化增强模块和重建模块所预测的深度图进行分别比较，得到所提网络的深度图重建损失，与此同时，将使用原始深度图来预测的细结构图和粗糙结构图和深度对偶分解模块所预测的精细结构图和粗糙结构图分别进行比较，得到所提网络的深度图对偶分解损失。

4.根据权利要求1所述的基于图像分解的单一深度图的超分辨率方法，其特征在于：所述步骤1)选择三个数据集来构建训练数据集，具体来说，使用的第一个数据集是MPISintel深度图数据集，包括58个单一深度图，第二个数据集是包含34个单一深度图的Middlebury深度图数据集，其中包括2001年数据集的6张深度图和2006年数据集的10张深度图，以及2014年数据集的18张深度图，第三个数据集使用的是合成训练数据，图像的总数量为62，采用两个已经填补空洞的Middlebury RGBD数据集A和数据集C来评估不同深度图超分辨率方法的性能。