[发明专利]空间几何信息估计模型的训练方法及装置

说明书

本公开实施例公开了一种空间几何信息估计模型的训练方法及装置、一种空间几何信息估计方法及装置、计算机可读存储介质、电子设备，其中，该模型的训练方法包括：对样本图像序列中的第一样本图像和第二样本图像进行特征提取，得到特征数据；基于特征数据，由待训练模型进行空间几何信息预测，生成预测空间几何信息；基于预测空间几何信息、预设的标注空间几何信息和预设的有监督的空间几何损失函数，确定空间几何损失值；基于空间几何损失值，调整待训练模型的参数，直至满足预设训练结束条件，得到空间几何信息估计模型。本公开实施例充分利用了多帧图像之间的视差来进行空间几何信息预测，其预测准确性和泛化能力大大提高，预测效率大大提升。

技术领域

本公开涉及计算机技术领域，尤其是一种空间几何信息估计模型的训练方法及装置、一种空间几何信息估计方法及装置、计算机可读存储介质、电子设备。

背景技术

路平面视差估计是应用在辅助驾驶和自动驾驶场景中来帮助车辆感知路面3D信息的技术。在辅助驾驶和自动驾驶应用中，路平面视差估计能通过摄像头提供的单帧或者相邻两帧图像并结合3D几何信息来获得路面的3D感知信息(包括物体的高度和深度信息)。为了获得路面的3D感知信息，目前常用的方法主要包括以下三种：

1、通过深度估计和提前标定好的地平面方程信息，将深度信息转化为3D点云并且通过地平面方程与点云的公式来恢复地面的3D感知信息(地面上物体深度及高度信息)；

2、通过单目多帧图像序列的地平面方程及帧间姿态耦合的信息来得到空间几何信息(通常用gamma表示，即物体的深度值与高度值之比)，再通过地平面方程信息解析gamma，得到图像中物体的深度和高度信息。

3、通过利用单目单帧图像和标注的实际gamma，以有监督的方式训练神经网络模型，使用神经网络模型来预测gamma，再通过平面方程解析gamma得到图像中物体的深度和高度信息。

发明内容

本公开的实施例提供了一种空间几何信息估计模型的训练方法及装置、一种空间几何信息估计方法及装置、计算机可读存储介质、电子设备。

本公开的实施例提供了一种空间几何信息估计模型的训练方法，该方法包括：对样本图像序列中的第一样本图像和第二样本图像进行特征提取，得到特征数据，其中，第二样本图像位于第一样本图像之后；基于特征数据，由待训练模型进行空间几何信息预测，生成预测空间几何信息；基于预测空间几何信息、预设的标注空间几何信息和预设的有监督的空间几何损失函数，确定空间几何损失值；基于空间几何损失值，调整待训练模型的参数，直至满足预设训练结束条件，得到空间几何信息估计模型。

根据本公开实施例的另一个方面，提供了一种空间几何信息估计方法，该方法包括：对图像序列中的第一图像和第二图像进行特征提取，得到特征数据，其中，第二图像位于第一图像之后；基于特征数据，由空间几何信息估计模型进行空间几何信息预测，生成第二图像中各像素分别对应的空间几何信息。

根据本公开实施例的另一个方面，提供了一种空间几何信息估计模型的训练装置，该装置包括：第一提取模块，用于对样本图像序列中的第一样本图像和第二样本图像进行特征提取，得到特征数据，其中，第二样本图像位于第一样本图像之后；第一生成模块，用于基于特征数据，由待训练模型进行空间几何信息预测，生成预测空间几何信息；第一确定模块，用于基于预测空间几何信息、预设的标注空间几何信息和预设的有监督的空间几何损失函数，确定空间几何损失值；训练模块，用于基于空间几何损失值，调整待训练模型的参数，直至满足预设训练结束条件，得到空间几何信息估计模型。

根据本公开实施例的另一个方面，提供了一种空间几何信息估计装置，该装置包括：第三提取模块，用于对图像序列中的第一图像和第二图像进行特征提取，得到特征数据，其中，第二图像位于第一图像之后；第一预测模块，用于基于特征数据，由空间几何信息估计模型进行空间几何信息预测，生成第二图像中各像素分别对应的空间几何信息。