[发明专利]深度图的补全方法、电子设备及存储介质

权利要求书

1.一种深度图的补全方法，其特征在于，包括：

获取稀疏深度图，以及所述稀疏深度图对应的彩色图；

将所述稀疏深度图和所述对应的彩色图输入深度图补全模型，得到补全后的稠密深度图；其中，所述深度图补全模型是基于训练数据集中的各稀疏深度样本图对应的半稠密深度样本图进行监督训练后得到的模型，所述深度图补全模型包括预训练的第一特征提取子模型、预训练的第二特征提取子模型和融合子模型；

所述将所述稀疏深度图和所述对应的彩色图输入深度图补全模型，得到补全后的稠密深度图，包括：

将所述稀疏深度图输入所述第一特征提取子模型，得到第一特征图，将所述稀疏深度图对应的彩色图输入所述第二特征提取子模型，得到第二特征图，并通过所述融合子模型对所述第一特征图和所述第二特征图进行拼接操作，得到融合特征图；

采用所述融合子模型中的卷积模块对所述融合特征图进行卷积操作，并对所述卷积模块中堆叠卷积层的中间输出依次进行上采样处理、拼接处理和卷积处理，得到融合输出图；

基于所述第一特征提取子模型中第一残差金字塔模块的每个第一残差单元的输出数据，获取所述稀疏深度图的置信度表征图；

采用所述融合子模型中的点乘模块对所述融合输出图和所述置信度表征图进行点乘处理，得到所述稠密深度图。

2.根据权利要求1所述的深度图的补全方法，其特征在于，所述稀疏深度样本图对应的半稠密深度样本图是根据所述稀疏深度样本图对应的彩色图获得的。

3.根据权利要求1所述的深度图的补全方法，其特征在于，所述第一残差金字塔模块包括T个依次连接的第一残差单元，所述第二特征提取子模型包括第二残差金字塔模块和第二金字塔池化模块，所述第二残差金字塔模块包括T个依次连接的第二残差单元；所述第一残差金字塔模块中，第i+1个所述第一残差单元的输入数据为第i个所述第一残差单元的输出数据和第i个所述第二残差单元的输出数据拼接得到的数据；其中，T为大于1的正整数，i为小于T的正整数。

4.根据权利要求1所述的深度图的补全方法，其特征在于，所述融合子模型包括第一处理模块；

所述基于所述第一特征提取子模型中第一残差金字塔模块的每个第一残差单元的输出数据，获取所述稀疏深度图的置信度表征图，包括：

将所述每个第一残差单元的输出数据输入第一处理模块，得到所述置信度表征图；其中，所述第一处理模块对每个第一残差单元的输出数据依次进行上采样处理、拼接处理和卷积处理，并通过逻辑回归处理得到所述置信度表征图。

5.根据权利要求3所述的深度图的补全方法，其特征在于，所述第二特征提取子模型还包括图像分类模块，所述第二特征提取子模型的训练过程包括：

将各彩色样本图分别输入图像分类模块，得到各所述彩色样本图的彩色特征图；

将各所述彩色样本图的彩色特征图作为所述彩色样本图的监督数据；

基于感知损失，使用各所述彩色样本图和各所述彩色样本图的监督数据，训练所述第二特征提取子模型。

6.一种电子设备，其特征在于，包括：至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至5中任一项所述的深度图的补全方法。

7.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至5中任一项所述的深度图的补全方法。