[发明专利]图像转换方法和装置、深度图预测方法和装置

说明书

本公开实施例公开了图像转换方法和装置、深度图预测方法和装置，其中，图像转换方法包括：获取在预设高度拍摄得到的第一全景图和对应的第一深度图；对于第一全景图中的每条经度线，从经度线上确定目标数量个点；基于第一深度图，确定目标数量个点中的每个点对应的第一深度值；基于每个点对应的第一深度值、第一纬度值和目标高度，确定每个点对应的针对目标高度的转换后深度值和转换后纬度值；基于每个点的颜色值和对应的转换后深度值、转换后纬度值，生成第二全景图和第二深度图。本公开实施例可以生成各种高度的全景图和深度图，提高了获得全景图的效率，降低获得全景图的成本，有助于提高训练得到的模型的泛化能力。

技术领域

本公开涉及计算机技术领域，尤其是一种图像转换方法和装置、深度图预测模型生成方法和装置、深度图预测方法和装置。

背景技术

传统的三维数据的拼接过程中，需要用到图像的深度信息来做对齐。对齐是要将不同拍摄位置，不同设备采集的点云数据进行拼接，从而生成真实场景的三维模型。

由于在对齐的过程中需要使用到深度信息，因此需要图像采集设备具有深度摄像头，能够采集图像相对于采集设备的距离信息。为了降低拍摄成本，可以采用基于深度学习的方法训练模型，生成更多的全景图和深度图。

发明内容

本公开的实施例提供了一种图像转换方法和装置、深度图预测模型生成方法和装置、深度图预测方法和装置、计算机可读存储介质及电子设备。

本公开的实施例提供了一种图像转换方法，该方法包括：获取在预设高度拍摄得到的第一全景图和对应的第一深度图，其中，第一全景图中的每个点具有对应的第一经度值和第一纬度值；对于第一全景图中的每条经度线，从经度线上确定目标数量个点；基于第一深度图，确定目标数量个点中的每个点对应的第一深度值；基于每个点对应的第一深度值、第一纬度值和目标高度，确定每个点对应的针对目标高度的转换后深度值和转换后纬度值；基于每个点的颜色值和对应的转换后深度值、转换后纬度值，生成针对目标高度预测的第二全景图和第二深度图。

在一些实施例中，基于每个点的颜色值和对应的转换后深度值、转换后纬度值，生成针对目标高度预测的第二全景图和第二深度图，包括：对于待生成的第二全景图中的每条经度线，利用经度线对应的转换后纬度值序列，以及转换后纬度值序列中的每个转换后纬度值对应的颜色值，对经度线上的每个像素点的颜色值进行插值；基于插值后得到的每个像素点的颜色值，生成第二全景图；对于待生成的第二深度图中的每条经度线，利用经度线对应的转换后深度值序列，以及转换后深度值序列中的每个转换后深度值对应的深度值，对经度线上的每个像素点的深度值进行插值；基于插值后得到的每个像素点的深度值，生成第二深度图。

在一些实施例中，从经度线上确定目标数量个点，包括：基于第一全景图的纬度值范围，以及预设的表征相邻两个点之间的纬度间隔值，确定目标数量个点。

根据本公开实施例的另一个方面，提供了一种深度图预测模型生成方法，该方法包括：获取初始图像对集合，其中，初始图像对集合中的图像对包括在对应的高度拍摄得到的第一全景图和对应的第一深度图；对于初始图像对集合中的每个图像对，确定图像对对应的目标高度，并利用上述图像转换方法，将图像对包括的第一全景图和第一深度图转换为目标高度对应的第二全景图和第二深度图；将初始图像对集合和生成的第二全景图和第二深度图合并为训练样本图像对集合；将训练样本图像对集合中的训练样本图像对包括的全景图作为输入，将输入的全景图对应的深度图作为期望输出，训练得到深度图预测模型。

在一些实施例中，确定图像对对应的目标高度，包括：在预设的高度范围内，随机选择高度作为目标高度。

根据本公开实施例的另一个方面，提供了一种深度图预测方法，该方法包括：获取全景图，并将全景图输入预先训练的深度图预测模型，得到全景图中的每个像素点对应的深度值和置信度，其中，深度图预测模型预先基于上述深度图预测模型生成方法训练得到；基于置信度，对每个像素点对应的深度值进行修正，得到带有深度信息的全景图。