[发明专利]深度补全网络的训练方法、装置、电子设备及存储介质

说明书

本公开提供了一种深度补全网络的训练方法、装置、电子设备及存储介质，涉及人工智能领域，具体涉及计算机视觉和深度学习技术，具体可用于3D视觉场景下。具体实施方案为，将第一样本图像和第一样本图像的第一点云数据输入第一深度补全网络中进行深度补全，以输出第一样本图像的第一补全点云数据，并将第一样本图像和第一样本图像的第二点云数据，以及第一样本图像的第一补全点云数据，确定为第二深度补全网络的第一训练样本，而后基于第一训练样本对第二深度补全网络进行训练，以生成目标第二深度补全网络。从而能够利用大量无标注数据和少量标注数据，优化目标第二深度补全网络，有效降低深度补全的误差，提高深度补全精度。

技术领域

本公开涉及人工智能技术领域，具体涉及计算机视觉和深度学习技术，可用于3D视觉场景下。

背景技术

随着计算机视觉在自主驾输、机器人、运动规划和增强现实等领域的迅速发展，深度估计已成为一个研究热点。

目前，市面上的各种传感器主要包括红绿蓝色彩模式(Red Green Blue，RGB)相机、基于结构光的传感器和激光雷达，都有其自身的局限性，影响了深度图的可靠性。为了克服这些局限性，已有许多研究利用给定的稀疏深度测量来获得一个密集的深度图，称为深度补全。

发明内容

本公开提供了一种用于深度补全网络的训练方法、装置、电子设备及存储介质。

根据本公开的第一方面，提供了一种深度补全网络的训练方法，包括：将第一样本图像和所述第一样本图像的第一点云数据输入第一深度补全网络中进行深度补全，以输出所述第一样本图像的第一补全点云数据；将所述第一样本图像和所述第一样本图像的第二点云数据，以及所述第一样本图像的第一补全点云数据，确定为第二深度补全网络的第一训练样本，其中，所述第一点云数据的点云密度要大于所述第二点云数据的点云密度；基于所述第一训练样本对所述第二深度补全网络进行训练，以生成目标第二深度补全网络。

根据本公开的第二方面，提供了一种图像的深度信息补全方法，包括：获取待补全深度信息的目标图像和所述目标图像的点云数据；将所述目标图像和所述点云数据输入到目标第二深度补全模型中进行预测，输出所述目标图像的补全点云数据；其中，所述目标第二深度补全模型为上述一方面实施例所述的深度补全网络的训练方法训练出的模型。

根据本公开的第三方面，提供了一种深度补全网络的训练装置，包括：输入模块，用于将第一样本图像和所述第一样本图像的第一点云数据输入第一深度补全网络中进行深度补全，以输出所述第一样本图像的第一补全点云数据；确定模块，用于将所述第一样本图像和所述第一样本图像的第二点云数据，以及所述第一样本图像的第一补全点云数据，确定为第二深度补全网络的第一训练样本；生成模块，用于基于所述第一训练样本对所述第二深度补全网络进行训练，以生成目标第二深度补全网络。

根据本公开的第四方面，提供了一种图像的深度信息补全装置，包括：获取模块，用于获取待补全深度信息的目标图像和所述目标图像的点云数据；预测模块，用于将所述目标图像和所述点云数据输入到目标第二深度补全网络中进行预测，输出所述目标图像的补全点云数据；其中，所述目标第二深度补全网络为采用上述一方面实施例所述的深度补全网络的训练方法训练出的网络。

根据本公开的第五方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述一方面实施例所述的深度补全网络的训练方法。

根据本公开第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其上存储有计算机程序，所述计算机指令用于使所述计算机执行上述一方面实施例所述的深度补全网络的训练方法。

根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述一方面实施例所述的深度补全网络的训练方法。