[发明专利]一种三维视觉图像构建方法和装置

权利要求书

1.一种三维视觉图像构建方法，其特征在于，包括：

获取由多个相机在第一时刻捕捉的第一图像；

基于每个相机的第一图像来获得每个相机在第一时刻的深度预测图；

基于在第一时刻的深度预测图将每个相机的第一图像转换成在该相机的相机坐标系中的三维图像，所述三维图像包括逐像素的三维坐标和对应的像素值；以及

将所述多个相机在各自的相机坐标系中的三维图像转换到统一坐标系中，以生成对应于所述第一时刻的由所述多个相机捕捉的第一图像在所述统一坐标系中的三维图像。

2.如权利要求1所述的三维视觉图像构建方法，其特征在于，还包括：

在将所述多个相机在各自的相机坐标系中的三维图像转换到统一坐标系中之后，检测来自不同相机的具有相同的三维坐标的重叠像素；以及

将重叠像素设置为重叠像素中的一者对应的像素值或重叠像素的加权像素值。

3.如权利要求2所述的三维视觉图像构建方法，其特征在于：

重叠像素被设置为所述重叠像素中具有高优先级的像素对应的像素值。

4.如权利要求1所述的三维视觉图像构建方法，其特征在于，其中所述多个相机安装在车辆上，所述方法还包括：

在所述统一坐标系中的三维图像中添加所述车辆的三维模型，并且其中所述统一坐标系的原点是参考所述车辆的位置来选择的。

5.如权利要求1所述的三维视觉图像构建方法，其特征在于：

每个相机在第一时刻的深度预测图是基于每个相机在第一时刻捕捉的第一图像和每个相机在第一时刻之前的一个时刻捕捉的附加图像来获得的。

6.如权利要求1所述的三维视觉图像构建方法，其特征在于，还包括：

获取由所述多个相机在第一时刻之后的第二时刻捕捉的第二图像；

基于每个相机的第二图像来获得每个相机在第二时刻的深度预测图；

基于在第二时刻的深度预测图将每个相机的第二图像转换成在该相机的相机坐标系中的三维图像；以及

将所述多个相机的第二图像在各自的相机坐标系中的三维图像转换到第二统一坐标系中，以生成对应于所述第二时刻的由所述多个相机捕捉的第二图像在所述第二统一坐标系中的三维图像。

7.如权利要求6所述的三维视觉图像构建方法，其特征在于，还包括：

基于每个相机的第一图像和第二图像来获得每个相机在第一时刻与第二时刻之间的相机姿态估计；

基于所述相机姿态估计将所述第二时刻在所述第二统一坐标系中的三维图像转换成在对应于所述第一时刻的所述统一坐标系中的三维图像。

8.如权利要求1所述的三维视觉图像构建方法，其特征在于：

所述多个相机包括至少两个鱼眼相机。

9.一种三维视觉图像构建装置，其特征在于，包括：

数据获取组件，其获取由多个相机在第一时刻捕捉的第一图像；

深度预测组件，其基于每个相机的第一图像来获得每个相机在第一时刻的深度预测图；

三维转换组件，其基于在第一时刻的深度预测图将每个相机的第一图像转换成在该相机的相机坐标系中的三维图像，所述三维图像包括逐像素的三维坐标和对应的像素值；以及

坐标转换组件，将所述多个相机在各自的相机坐标系中的三维图像转换到统一坐标系中，以生成对应于所述第一时刻的由所述多个相机捕捉的第一图像在所述统一坐标系中的三维图像。

10.如权利要求9所述的三维视觉图像构建装置，其特征在于，还包括：

重叠消除组件，其在所述坐标转换组件将所述多个相机在各自的相机坐标系中的三维图像转换到统一坐标系中之后，检测来自不同相机的具有相同的三维坐标的重叠像素，以及将重叠像素设置为重叠像素中的一者对应的像素值或重叠像素的加权像素值。