[发明专利]三维重建方法和三维重建装置

说明书

本申请实施例公开了一种三维重建方法，可通过单张二维图像实现物体的三维重建，可以提高三维重建的准确度。本申请实施例方法包括：获取第一物体的图像和所述图像的相机位姿；通过第一深度学习网络，确定所述图像中所述第一物体的第一归一化位置场NOLF图，所述第一NOLF图指示所述第一物体在所述图像的拍摄视角下的归一化的三维点云；根据所述第一NOLF图，从模型数据库的多个三维模型中确定与所述第一物体对应的第一模型；根据所述第一模型和所述图像的相机位姿确定所述第一物体的位姿；根据所述第一模型和所述第一物体的位姿三维重建所述图像中的所述第一物体。

技术领域

本申请涉及三维建模技术，尤其涉及一种三维重建方法和三维重建装置。

背景技术

三维数字化数据可以提升人们对真实空间的认知水平和层次，为人们带来远超二维图像数据的丰富信息。利用高精度激光扫描仪获得三维环境的点云信息进行建模是一种常见的方案，但是激光扫描仪设备昂贵，如何高效准确低廉地获得真实可用的三维数字化数据，是限制三维应用进一步蓬勃发展的关键性瓶颈之一。

图像现有技术中，以预先构建好的模型数据库为基础，对用户输入的单张场景图像进行图像分析获取目标模型的局部图像，在预先构建模型数据库中进行模型检索确定匹配的模型，进而实现三维重建。其中，预设的模型数据库基于虚拟三维空间的不同位置和角度，对三维模型进行投影映射，用一组多角度的投影图像代替三维模型本身，这样，就将模型检索中二维-三维检索问题转换成二维-二维相似性度量问题；当某一个三维模型在某一视角下的投影图像与待检索的局部图像比较接近，则认为投影图像对应的三维模型即为检索结果。

由于现有技术中，从预设的位置和角度对预设的三维模型进行投影映射，模型数据库中用一组多角度的投影图像代表一个三维模型，但是，实际拍摄的场景图像时的视角往往是任意且随机的，与模型数据库中投影图像的位置和角度匹配度低，因此，模型检索的准确度较低。

发明内容

本申请实施例提供了一种三维重建方法，用于通过二维图像实现物体的三维重建，可以提高三维模型匹配的准确率。

本申请实施例的第一方面提供了一种三维重建方法，包括：获取第一物体的图像和所述图像的相机位姿；通过第一深度学习网络，确定所述图像中所述第一物体的第一归一化位置场NOLF图，所述第一NOLF图指示所述第一物体在所述图像的拍摄视角下的归一化的三维点云；根据所述第一NOLF图，从模型数据库的多个三维模型中确定与所述第一物体对应的第一模型；根据所述第一模型和所述图像的相机位姿确定所述第一物体的位姿；根据所述第一模型和所述第一物体的位姿三维重建所述图像中的所述第一物体。

本申请实施例提供的三维重建方法，获取对包含第一物体的场景进行拍摄得到的二维图像，输入深度学习网络，得到该第一物体的NOLF图，指示该第一物体在拍摄该图像的相机拍摄视角下的归一化的三维点云，根据该第一物体的NOLF图从模型数据库中确定第一物体对应的第一模型，根据所述第一模型和所述图像的相机位姿确定所述第一物体的位姿，从而实现图像中第一物体的三维重建。由于第一物体的NOLF指示的是第一物体在拍摄该图像的相机拍摄视角下的归一化的三维点云，即通过深度学习网络恢复了第一物体在图像的拍摄视角下的部分三维信息，通过该NOLF图进行三维检索，相较现有技术可以提高模型匹配的准确度，进行提高三维重建成功率。

在第一方面的一种可能的实现方式中，所述方法还包括：根据所述第一NOLF图，确定所述第一物体的第一相对位姿，所述第一相对位姿为所述第一物体的位姿与所述图像的相机位姿之间的相对位姿；确定多个所述三维模型中在所述第一相对位姿对应的视角下的NOLF图；所述根据所述第一NOLF图，从模型数据库的多个三维模型中确定与所述第一物体对应的第一模型包括：从多个所述三维模型各自对应的NOLF图中确定与所述第一NOLF图相似度最高的NOLF图对应的所述第一模型。