[发明专利]基于二维目标检测和模型对齐的三维场景重建方法、存储介质及终端

说明书

本发明公开了基于二维目标检测和模型对齐的三维场景重建方法、存储介质及终端，属于三维场景重建技术领域，方法包括获取图像的包围框信息，根据图像的包围框信息结合相机内参计算三维空间中的视锥体范围，并根据视锥体范围对待重建的扫描场景进行裁剪；在裁剪后的扫描场景进行模型检索、模型对齐处理，得到与裁剪后的扫描场景模型匹配的对象模型；预测所有与裁剪后的扫描场景模型匹配的第一对象模型的位置姿态参数，根据位置姿态参数使第一对象模型替换扫描场景中的对应点云，实现三维场景的重建。本发明在裁剪后的扫描场景进行模型检索、模型对齐处理，减小了模型检索、模型对齐的计算量，加快了三维场景重建的计算速度，三维场景重建效率高。

技术领域

本发明涉及三维场景重建技术领域，尤其涉及基于二维目标检测和模型对齐的三维场景重建方法、存储介质及终端。

背景技术

随着消费者级别的深度传感器的普及(如Microsoft Kinect、Intel Real Sense、Google Tango等)，基于深度信息的三维场景重建技术也取得了长足发展，如A.Dai等人(A.Dai,M.Nieβner,M.S.Izadi,and C.Theobalt,Bundlefusion:Real-timeglobally consistent 3d reconstruction using on-the-fly surfacereintegration,ACM Transactions on Graphics(ToG),vol.36,no.3,p.24,2017)实现了面向实时场景重建的Bundle Fusion等。同时，三维场景重建生成的大型标注数据集(A.Dai,A.X.Chang,M.Savva,M.Halber,T.Funkhouser,and M.Nieβner,Scannet:Richly-annotated 3d reconstructions of indoor scenes,in Proceedings of the IEEEConference on Computer Vision and Pattern Recognition,2017,pp.5828-5839)在三维对象识别和三维语义分割等深度学习领域也得到了广泛应用。尽管如此，由于传感器精度、扫描模式等因素的影响，生成的扫描模型往往是有噪声且不完整的。与人工建模相比，三维场景重建生成的扫描模型还难以达到应用标准。

解决上述问题的一种方案是Avetisyan等人(Avetisyan,Armen,et al.Scan2cad:Learning cad model alignment in rgb-d scans.Proceedings of the IEEEConference on Computer Vision and Pattern Recognition.2019)的模型对齐：即根据输入的场景扫描模型，从预先建立的对象模型数据库中自动检索出匹配的模型对象，并将其与输入的扫描模型进行对齐和替换。用这种方式替换场景中的所有对象，就可以获得一个平滑、简洁的场景表示，从而满足虚拟现实、增强现实、建筑设计等多个领域的应用需求。然而，该方法还存在以下缺陷：(1)对于对象模型数据库中的每个对象都要进行一次模型检索，并在整个场景扫描中进行模型对齐，效率很低。(2)模型检索过程中只考虑了三维场景扫描的几何信息，而没有考虑颜色信息，限制了模型检索的准确度。

发明内容

本发明的目的在于克服现有三维场景重建过程中模型检索效率低的问题，提供基于二维目标检测和模型对齐的三维场景重建方法。

本发明的目的是通过以下技术方案来实现的：基于二维目标检测和模型对齐的三维场景重建方法，所述方法包括：

获取图像的包围框信息，根据图像的包围框信息结合相机内参计算三维空间中的视锥体范围，并根据视锥体范围对待重建的扫描场景进行裁剪；

在裁剪后的扫描场景进行模型检索、模型对齐处理，得到与裁剪后的扫描场景模型匹配的对象模型；