[发明专利]使用深度传感器的结构建模

说明书

本发明呈现用于构建物理环境的数字表示的技术。在一些实施例中，一种方法包含获得指示所述物理环境的图像数据；基于所获得的所述图像数据从对应于所述物理环境中的至少一个位置的用户接收手势输入数据；检测所述物理环境中靠近对应于所接收到的所述手势输入数据的所述至少一个位置的至少一个不连续性；以及基于所接收到的所述手势输入数据和所述至少一个不连续性产生对应于所述物理环境中的表面的数字表面。

技术领域

本发明总体而言涉及增强现实环境，且更具体来说，涉及实时建模实体环境。

背景技术

在增强现实(AR)环境中，用户可希望获得他的物理环境的模型以启用AR功能。举例来说，用户可希望将他的办公室的视图的主要结构建模，所述视图可包含墙面、地板和天花板的表面，以及桌子的台面表面。建模现实物理环境的当前方法可能不具有将不同表面彼此区分开的能力，且实际上仅产生指示与来自摄像机视图的每个点相关联的深度的点的密集重构。此外，此组点可不含有区分哪些点属于墙面或哪些点属于桌子等的任何方式。不具有此类语义意义使得AR壁面或桌子表面难以交互。此外，产生此组点可为非常处理器密集型且不大适用于实时使用。

本发明的实施例解决此问题和其它问题。

发明内容

本发明总体而言涉及增强现实环境，且更具体来说，涉及实时建模实体环境。

介绍用于基于直观用户输入和用户的物理环境在移动装置上实时建模增强现实(AR)环境的方法和设备。在一些实施例中，用户可基于本发明的系统和方法产生表示用户的物理环境的表面的几何形状。在一些实施例中，仅此类表面的大致指示由用户需要，且快速不精确输入在一些情况下可为可接受的。在一些实施例中，移动装置的传感器功能性(例如，来自深度摄像机的输入)可用于推断用户并未充分指定的表面的其余部分。在一些实施例中，方法和应用包含手动用户接口，而在其它实施例中，可采用更“半自动”的用户接口。

使用业界中的已知方法，深度传感器可产生包含极其详细的信息的三维(3D)重建，从而产生可含有不具有任意语义的多个几何图元的模型。然而，对于多个应用，可能需要的全部应用为由少数多边形组成的几何模型，所述几何模型表示环境的重要结构，而非大量细节。建模结构可包含由几何面、边和顶点构成的多边形模型以及简单体积。此类几何模型可被称作结构模型。举例来说，简单房间可包含四个墙面、地板、天花板、门和窗户，总计八个多边形。应注意，此等几何结构具有低复杂度且通常具有例如正确角度或平行边的约束。

此外，使语义意义与结构结合可为重要的。举例来说，门可用于进出相邻房间，或虚拟物件可经约束以停留在真实表面上，或窗户可向上及向下滑动。对于增强现实(AR)中的相互相用，具有相关信息的简化结构模型可在移动装置上启用与结构模型相关联的资讯的实时处理。因此，本发明的实施例提出通过几个多边形(例如，用于门的单一矩形)表示来自现实世界的重要元素。

一种用于构建物理环境的数字表示的实例方法可包含获得指示物理环境的图像数据；基于所获得的图像数据接收对应于物理环境中的至少一个位置的用户输入数据图像数据；检测靠近对应于所接收到的用户输入数据的至少一个位置的物理环境中的至少一个不连续性；以及基于所接收到的用户输入数据和至少一个不连续性产生对应于物理环境中的表面的数字表面。在方法的一些实施例中，所接收到的用户输入数据指定数字表面的至少一个边。在其它实施例中，所接收到的用户输入数据指定数字表面的至少一个平面。在又其它实施例中，所接收到的用户输入数据包括物理环境内的多个点，基于所获得的图像数据，所述多个点被包含为数字表面的部分。

在某些实施例中，图像数据可包含关于物理环境的几何深度信息。在一些实施方案中，实例方法可侦测检测至少一个不连续性，其可包含在物理环境中检测至少两个平面表面相交之处。在某一实施方案中，所接收到的用户输入数据可包含2维坐标形式的输入数据，且所产生的数字表面可包含3维坐标形式的输出数据。实例方法可进一步包含接收定义与数字表面相关联的至少一个函数的语义输入。