[发明专利]用于移动设备环境的3D重建方法、相应的程序产品和设备

说明书

提出了一种用于移动设备的环境的3D重建的方法，所述移动设备包括相机，这样的方法包括：通过第一重建方法计算(100)所述环境的至少一个区域的粗略3D重建，所述第一重建方法考虑了由所述相机捕获的至少一个区域的第一图像；基于至少一个对象属性的检测，自动地确定(110)在所述环境中是否存在至少一个目标部分，所述检测考虑了第一图像中的至少一个图像；通过第二重建方法计算(120)所述至少一个目标部分的精细3D重建，所述第二重建方法考虑了由所述相机捕获的至少一个目标部分的第二图像；聚合(130)所计算的重建，以便提供环境的3D重建。

技术领域

本公开的领域是环境的3D重建。

更具体地，本公开涉及用于移动设备的环境的3D重建的方法。

在移动设备中对3D重建关注的任何领域中，可以关注本公开。这可以是以下情形，例如在像导航、自主机器人、3D打印、虚拟现实和增强现实等领域中。

背景技术

本部分旨在向读者介绍领域的各个方面，这些方面可涉及下面所描述的和/或请求保护的本公开的各个方面。相信这一讨论有助于为读者提供背景信息，以便于更好地理解本公开的各个方面。因此，应该理解的是，这些声明是以这种方式被阅读，而不是作为对现有技术的承认。

目前，存在用于适应像“运动恢复结构”(Structure from Motion，SfM)、“多视点立体”(Multi-View Stereo，MVS)或“同时定位与建图”(Simultaneous Localization AndMapping，SLAM)方法的发展，从而它们就可以在移动设备上实现实况或实时3D重建(参见例如“P.Ondruska，P.Kohli，S.Izadi，‘MobileFusion:Real-time Volumetric SurfaceReconstruction and Dense Tracking on Mobile Phone’，IEEE Transactions onVisualization&Computer Graphics,2015”)。然而，存在与这些方法有关的高频噪声。此外，这些技术通常只有当重建纹理良好的对象的几何形状时，才会产生良好的效果。对于具备像有光泽的材料或较少纹理的特定特性的对象，重建的质量较差，且可以考虑替代的技术来实现良好的3D重建。

在这个角度，光度立体(参见例如“C.Hernandez，G.Vogiatzis，R.Cipolla，‘Multi-view photometric stereo’，PAMI，2008”)是一种替代的方式来提高对具备有光泽的材料或较少纹理的这种对象进行更精细的细节的重建质量。然而，在移动硬件(例如存储器、处理能力以及电池容量)的限制下，在移动设备的大规模环境中不可能应用这种光度立体方法。

因此，需要一种对移动设备的环境进行3D重建的方法，同时该方法限制计算的需要，并且允许对具有特定特性的对象(例如由有光泽的材料构成或具备较少的纹理)的更精细的细节的良好重建质量。

发明内容

本公开的一个具体方面涉及一种用于移动设备的环境的3D重建的方法，移动设备包括至少一个相机，

这样的方法包括：

●通过第一重建方法计算环境的至少一个区域的粗略3D重建，第一重建方法考虑了由至少一个相机捕获的至少一个区域的至少第一图像；

●基于至少一个对象属性的至少检测，自动地确定在环境中是否存在至少一个目标部分，检测考虑了第一图像中的至少一个图像；

●通过第二重建方法计算至少一个目标部分的精细3D重建，第二重建方法考虑了由至少一个相机捕获的至少一个目标部分的至少第二图像；

●聚合所计算的重建，以便提供环境的3D重建。

因此，本公开提出了一种新的和有创造性的方案，以便确定移动设备的环境的3D重建，同时限制用于其确定的计算需求。