[发明专利]利用弱对准的异构相机的立体视觉

说明书

一种利用异构相机的深度估计方法，该方法包括：分别基于第一相机校准数据集和第二相机校准数据集来均质化第一相机图像和第二相机图像，其中第一相机图像和第二相机图像被失真校正并被变焦补偿；确定经均质化的第一相机图像和经均质化的第二相机图像的初始图像对修正变换矩阵；基于初始图像对修正变换矩阵，确定Δ图像对修正变换矩阵；基于初始图像对修正变换矩阵和Δ图像对修正变换矩阵，确定最终图像对修正变换矩阵，从而得到最终经修正图像对；以及，基于深度网络回归，对最终经修正图像对进行视差映射。

技术领域

本公开涉及利用弱对准的异构(heterogeneous)相机的立体系统和立体视觉。

背景技术

立体视图可用于使用从不同视角拍摄的两个图像恢复场景的深度信息。深度信息可以被计算机视觉应用(包括自动驾驶中的深度感知)利用。立体视觉允许基于对极几何的三角测量来确定物体的距离，其中，该距离由左右经修正图像对中的水平像素移位(也称为视差图)表示。

发明内容

利用两个异构相机的深度估计的第一示例，该方法包括以下至少之一：分别基于第一相机校准数据集和第二相机校准数据集来均质化第一相机图像和第二相机图像，其中所述第一相机图像和第二相机图像被失真校正并被变焦补偿；确定经均质化的第一相机图像和经均质化的第二相机图像的初始图像对修正变换矩阵；基于所述初始图像对修正变换矩阵，确定Δ(delta)图像对修正变换矩阵；基于所述初始图像对修正变换矩阵和所述Δ图像对修正变换矩阵，确定最终图像对修正变换矩阵，从而得到最终经修正图像对；以及，基于深度网络回归，对所述最终经修正图像对进行视差映射。

利用两个异构相机的深度估计的第二示例，该方法包括以下至少之一：校准具有第一相机校准数据集的第一相机；校准具有第二相机校准数据集的第二相机，所述第二相机具有与所述第一相机不同的焦距、不同的视场和不同的像素数中的至少一者；基于所述第一相机校准数据集和所述第二相机校准数据集，在第一相机图像和第二相机图像之间进行失真校正；基于所述第一相机校准数据集和所述第二相机校准数据集，在所述第一相机图像和所述第二相机图像之间进行焦距补偿；基于变换矩阵回归，在经失真校正和焦距补偿的第一相机图像和所述第二相机图像之间修正图像对；以及，基于深度网络回归，对经修正的图像对进行视差映射。

利用两个异构相机的深度估计的第三示例，该方法包括以下至少之一：校准具有第一相机校准数据集的第一相机；校准具有第二相机校准数据集的第二相机，所述第二相机具有与所述第一相机不同的焦距、不同的视场和不同的像素数中的至少一者；基于所述第一相机校准数据集和所述第二相机校准数据集，在第一相机图像和第二相机图像之间进行失真校正；基于所述第一相机校准数据集和所述第二相机校准数据集，在所述第一相机图像和所述第二相机图像之间进行焦距补偿；基于深度网络回归，对经失真校正和焦距补偿的第一相机图像进行视差映射；基于所述第一相机校准数据集和所述第二相机校准数据集，确定初始姿态；使用姿态网络，对所述第一相机图像和所述第二相机图像以及所述初始姿态进行姿态映射，并输出Δ姿态；使所述Δ姿态、所述视差映射和所述第一相机图像扭曲(warp)；以及，重构该扭曲以及经失真校正和焦距补偿的第二相机图像，以使重构误差最小化。

附图说明

在附图中：

图1是根据本公开的一个实施例的第一示例系统图；

图2是根据本公开的一个实施例的第二示例系统图；

图3是根据本公开的一个实施例的来自双异构相机的深度估计的示例逻辑流程；

图4是根据本公开的一个实施例的用于单目深度估计的深度监控的示例逻辑流程；

图5是根据本公开的一个实施例的深度估计的第一示例方法；

图6是根据本公开的一个实施例的深度估计的第二示例方法；并且

图7是根据本公开的一个实施例的深度估计的第三示例方法。

具体实施方式