[发明专利]三维重建方法和三维重建装置

权利要求书

1.一种三维重建方法，其特征在于，包括：

获取第一物体的图像和所述图像的相机位姿；

通过第一深度学习网络，确定所述图像中所述第一物体的第一归一化位置场NOLF图，所述第一NOLF图指示所述第一物体在所述图像的拍摄视角下的归一化的三维点云；

根据所述第一NOLF图，从模型数据库的多个三维模型中确定与所述第一物体对应的第一模型；

根据所述第一模型和所述图像的相机位姿确定所述第一物体的位姿；

根据所述第一模型和所述第一物体的位姿三维重建所述图像中的所述第一物体。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述第一NOLF图，确定所述第一物体的第一相对位姿，所述第一相对位姿为所述第一物体的位姿与所述图像的相机位姿之间的相对位姿；

确定多个所述三维模型在所述第一相对位姿对应的视角下的NOLF图；

所述根据所述第一NOLF图，从模型数据库的多个三维模型中确定与所述第一物体对应的第一模型包括：

从多个所述三维模型各自对应的NOLF图中确定与所述第一NOLF图相似度最高的NOLF图对应的所述第一模型。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一NOLF图，确定所述第一物体的第一相对位姿包括：

通过第二深度学习网络，确定所述图像中所述第一物体的至少四个特征点的像素坐标，所述四个特征点指示的四个物点在三维空间中不共面；

从所述第一NOLF图中确定所述至少四个特征点的三维坐标；

根据所述至少四个特征点的所述像素坐标和所述三维坐标确定所述第一相对位姿。

4.根据权利要求3所述的方法，其特征在于，所述根据所述至少四个特征点的所述像素坐标和所述三维坐标确定所述第一相对位姿包括：

根据所述至少四个特征点的所述像素坐标和所述三维坐标，通过透视N点估计PnP算法确定所述第一相对位姿。

5.根据权利要求3或4所述的方法，其特征在于，

所述第一物体的特征点包括：所述第一物体的包围盒的八个角点。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：

将所述图像输入所述第一深度学习网络，确定第一原始NOLF图；

根据所述第一原始NOLF图和所述第一物体的图像掩膜，确定所述第一NOLF图。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述模型数据库包括所述多个三维模型的类别，其中，所述第一物体属于第一类别，所述方法还包括：

根据所述第一NOLF图从属于所述第一类别的三维模型中确定所述第一模型。

8.一种三维重建装置，其特征在于，包括：

获取单元，用于获取第一物体的图像和所述图像的相机位姿；

确定单元，用于通过第一深度学习网络，确定所述图像中所述第一物体的第一归一化位置场NOLF图，所述第一NOLF图指示所述第一物体在所述图像的拍摄视角下的归一化的三维点云；

所述确定单元，用于根据所述第一NOLF图，从模型数据库的多个三维模型中确定与所述第一物体对应的第一模型；

所述确定单元，还用于根据所述第一模型和所述图像的相机位姿确定所述第一物体的位姿；

重建单元，用于根据所述第一模型和所述第一物体的位姿三维重建所述图像中的所述第一物体。

9.根据权利要求8所述的装置，其特征在于，所述确定单元还用于：

根据所述第一NOLF图，确定所述第一物体的第一相对位姿，所述第一相对位姿为所述第一物体的位姿与所述图像的相机位姿之间的相对位姿；

确定多个所述三维模型在所述第一相对位姿对应的视角下的NOLF图；

所述确定单元具体用于：

从多个所述三维模型各自对应的NOLF图中确定与所述第一NOLF图相似度最高的NOLF图对应的所述第一模型。