[发明专利]一种基于神经网络化的联合三边滤波器用于深度图超分辨率重建方法

权利要求书

1.一种基于神经网络化的联合三边滤波器用于深度图超分辨率重建方法，其特征在于，包括：

获取低分辨率深度图和高分辨率彩色图，采用渐进式上采样方式构建神经网络模型，并分别提取所述低分辨率深度图的深度域特征、提取所述高分辨率彩色图的颜色域特征；

采用联合三边滤波模块以内容感知的方式融合所述颜色域特征和所述深度域特征；

基于联合三边滤波模块的变体，实现从低分辨率到高分辨率和从高分辨率到低分辨率的跨尺度深度域特征的双向融合，并利用融合结果更新高分辨率深度图的深度域特征；

应用更新后的深度域特征重构形成高质量深度图。

2.根据权利要求1所述的基于神经网络化的联合三边滤波器用于深度图超分辨率重建方法，其特征在于：

获取所述低分辨率深度图和所述高分辨率彩色图包括：基于合成数据集和真实数据集划分训练集和测试集，获取高分辨率彩色图、高分辨率深度图和对应的低分辨率深度图的图像对，根据预定的尺寸提取子图像并进行随机增强，获得训练数据。

3.根据权利要求2所述的基于神经网络化的联合三边滤波器用于深度图超分辨率重建方法，其特征在于：

对所述子图像的数据进行随机增强包括：对所述子图像的数据进行90度旋转、180度旋转、竖直翻转或水平翻转。

4.根据权利要求3所述的基于神经网络化的联合三边滤波器用于深度图超分辨率重建方法，其特征在于：

对所述子图像的数据进行随机增强后，对随机增强的数据进行归一化处理。

5.根据权利要求1至4任一项所述的基于神经网络化的联合三边滤波器用于深度图超分辨率重建方法，其特征在于：

采用渐进式上采样方式构建神经网络模型，并分别提取所述低分辨率深度图的深度域特征、提取所述高分辨率彩色图的颜色域特征包括：

在一个阶段内对输入特征进行两倍超分辨率处理；

分别构建颜色指导分支和深度重构分支，其中，所述颜色指导分支用于对所述高分辨率彩色图进行颜色域特征提取，再逐步进行下采样生成多尺度颜色域特征；所述深度重构分支用于对所述低分辨率深度图进行深度域特征提取，再逐步上采样重建多尺度深度特征。

6.根据权利要求5所述的基于神经网络化的联合三边滤波器用于深度图超分辨率重建方法，其特征在于：

所述颜色指导分支包括浅层特征提取模块和由多个特定尺度的指导特征提取单元组成的多尺度指导特征生成模块。

7.根据权利要求1至4任一项所述的基于神经网络化的联合三边滤波器用于深度图超分辨率重建方法，其特征在于：

采用联合三边滤波模块以内容感知的方式融合颜色域特征和深度域特征包括：

设计联合三边滤波模块内部的卷积核生成子网络，通过学习的方式得到卷积核，所述卷积核函数只学习与传统联合三边滤波器中指数函数相似的对应域卷积核生成函数；与初始深度域特征结合获得颜色特征指导后的深度域特征。

8.根据权利要求1至4任一项所述的基于神经网络化的联合三边滤波器用于深度图超分辨率重建方法，其特征在于：

从低分辨率到高分辨率和从高分辨率到低分辨率的跨尺度深度域特征的双向融合包括：

将相邻两个阶段获得的高分辨率深度特征和低分辨率深度特征输入双向深度特征融合单元，所述双向深度特征融合单元包括两个上行联合三边滤波模块和一个下行联合三边滤波模块；

使用所述上行联合三边滤波模块和所述下行联合三边滤波模块以双向方式融合跨尺度深度域特征，所述上行联合三边滤波模块更新当前尺度的深度域特征。

9.根据权利要求8所述的基于神经网络化的联合三边滤波器用于深度图超分辨率重建方法，其特征在于：

所述联合三边滤波模块的变体直接在目标特征域的分辨率下生成卷积核函数。