[发明专利]可伸缩体积3D重构

说明书

描述了可伸缩体重构，由此来自移动环境捕捉设备的数据被用来形成现实世界环境的3D模型。在各示例中，分层结构被用来存储3D模型，其中该结构包括根层节点、多个中间层节点以及多个叶节点，节点中的每一个具有表示现实世界环境的一部分的相关联的体素网格，体素网格在叶节点处比在根节点处具有更精细的分辨率。在各示例中，并行处理被用来使捕捉到的数据能够被集成到3D模型中和/或使各图像能够从3D模型渲染。在一示例中，元数据被计算并存储在分层结构中并被用来使得能够进行分层结构的空间跳过和/或修剪。

技术领域

本公开涉及可伸缩体积3D重构。

背景技术

环境中各表面的三维重构被用于许多任务，诸如机器人技术、工程原型设计、沉浸式游戏、增强现实、以及其他。例如，移动捕捉设备可以在它在环境中移动时捕捉图像和数据；捕捉到的信息可被用来自动计算该环境(如起居室或办公室)的体积模型。在其他示例中，捕捉设备可以是静态的，而一个或多个物体相对于它来移动。用于计算环境和/或物体的体积3D重构的现有系统通常在它们能够重构的现实世界体的大小方面受到限制。例如，由于存储器和处理能力约束，并且对于许多应用而言，希望实时操作。

以下描述的各实施例不限于解决已知的用于计算环境和/或物体的体积3D重构的系统的缺点中的任意或全部缺点的实现。

发明内容

下面呈现了本公开的简要概述，以便向读者提供基本理解。本概述不是本公开的穷尽概览，并且不标识关键/重要元素或描绘本说明书的范围。其唯一的目的是以简化形式呈现此处所公开的精选概念，作为稍后呈现的更详细的描述的序言。

描述了可伸缩体重构，由此来自移动环境捕捉设备的数据被用来形成现实世界环境的3D模型。在各示例中，分层结构被用来存储3D模型，其中该结构包括根层节点、多个内部层节点以及多个叶节点，节点中的每一个具有表示现实世界环境的一部分的相关联的体素网格，体素网格在叶节点处比在根节点处具有更精细的分辨率。在各示例中，并行处理被用来使捕捉到的数据能够被集成到3D模型中和/或使各图像能够根据3D模型来渲染。在一示例中，元数据被计算并存储在分层结构中并被用来使得能够进行分层结构的空间跳过和/或修剪。

在一些示例中，现实世界环境的3D模型被存储为规则网格或使用分层结构来存储，且3D模型的数据在至少一个并行处理单元和一个或多个主计算设备之间被流传输。

在一些示例中，多个并行处理单元被使用，每一个具有存储3D模型的至少一部分的存储器。例如，每一并行处理单元使用映射到现实世界环境中的不同物理尺寸的相同量的存储器。

由于通过结合附图参考以下详细描述使得许多附带特征能够被更好地理解，因此可更容易地领会这些附带特征。

附图说明

根据附图阅读以下详细描述，将更好地理解本说明书，在附图中：

图1是用于与移动环境捕捉设备一起使用的3D环境建模系统的示意图；

图2是在图1的3D环境建模系统处的方法的流程图；

图3是用于存储使用图1的3D环境建模系统生成的3D模型的分层数据结构的示意图；

图4是图3的分层数据结构的一部分的示意图；

图5是形成分层数据结构(诸如图3的分层数据结构)的方法的流程图；

图6是用来形成图4的分层数据结构的并行处理单元处的存储器的示意图；

图7是将深度图集成到图3的分层数据结构的方法的流程图；

图8是概括并修剪分层数据结构(诸如图3的分层数据结构)的方法的流程图；

图9是渲染的方法的流程图；