[发明专利]分级特征反馈融合的深度图像超分辨率重建方法

权利要求书

1.分级特征反馈融合的深度图像超分辨率重建方法，其特征在于，单深度图像重建网络通过单层卷积提取深度图像的浅层特征，深度-纹理融合特征增强网络通过单层卷积提取纹理图像的浅层特征；

所述单深度图像重建网络和深度-纹理融合特征增强网络，以级联多个残差块的形式构建深层网络，进一步提取深度图像和纹理图像的深层特征；

所述深度图像的深层特征上采样后，与纹理图像的深层特征利用深度-纹理反馈式融合模块DCB Fusion进行特征融合；

根据深度-纹理反馈式融合模块输出的深度-纹理融合特征，生成纹理图像对深度图像的边缘引导信息；

所述深度图像的边缘引导信息生成边缘引导图像后，与单深度图像重建网络生成的高分辨率深度图像融合，得到深度图像的超分辨率重建结果；

所述深度-纹理反馈式融合模块DCB Fusion，通过深度-纹理反馈式融合策略，实现不同尺度特征的反馈式融合，以获取纹理图像对深度图像的边缘引导信息；

所述深度-纹理反馈式融合模块，包含多尺度分层特征构建子模块和反馈特征融合子模块；

所述多尺度分层特征构建子模块，利用并行的金字塔结构构建深度图像和纹理图像不同尺度下的分层特征，用于提供包含不同感受野的层次特征信息：

选用三层结构的并行金字塔，以避免因层数过高引起深度图像边缘的退化问题；金字塔第j层、1≤j≤3、的深度图像深层特征和纹理图像深层特征是由第j-1层的分层特征和构建，深度图像和纹理图像的多尺度分层特征构建方式分别如下式所示：

其中，表示纹理图像的深层特征F_DC在金字塔第j层构建的分层特征，表示深度图像在金字塔第j层构建的分层特征，当j＝0时，*表示卷积操作，σ表示线性整流激活函数，H_↓表示最大池化层的2×下采样操作；表示卷积的权重，表示卷积的偏置；

所述反馈特征融合子模块，学习多级感受野下的纹理图像与深度图像的结构相似性，融合不同尺度的层次特征信息，获得包含多级感受野的纹理图像对深度图像的边缘引导信息；

具体包括：将金字塔最上层的深度图像的分层特征和纹理图像的分层特征融合，生成深度-纹理融合特征R³；

采用反馈式特征融合策略，将R³与分层特征和进行融合生成第二层的深度-纹理融合特征R²；第一层的深度-纹理融合特征R¹与R³采取相同的融合方式，深度-纹理融合特征的生成过程如下式所示：

其中，R⁴为空集，和分别表示1×1卷积的权重与偏置，表示级联，表示通过反卷积实现的2×上采样操作，获得与第j-1层特征空间相匹配的分层特征；

将第一层深度-纹理融合特征R¹与深度图像的深层特征和纹理图像的深层特征F_DC进行融合，生成纹理图像对深度图像的边缘引导信息F_Df，如下式所示：

其中，W_r和b_r分别表示卷积的权重和偏置。

2.如权利要求1所述的分级特征反馈融合的深度图像超分辨率重建方法，其特征在于，由单深度图像重建网络和深度-纹理融合特征增强网络两个子网络组成分级特征反馈式融合网络HFBN。

3.如权利要求1所述的分级特征反馈融合的深度图像超分辨率重建方法，其特征在于，所述深度图像为低分辨率的深度图像D_L，所述纹理图像为与深度图像同一场景下的、对应比例因子放大的高分辨率纹理图像Y_C。

4.如权利要求3所述的分级特征反馈融合的深度图像超分辨率重建方法，其特征在于，通过单深度图像重建网络提取深度图像的浅层特征通过深度-纹理融合特征增强网络提取纹理图像的浅层特征如下式所示：

其中，H_LF(D_L)和H_CF(C)为3×3的卷积滤波器。