[发明专利]用于生成场景中的表面的三维重建的方法和设备

说明书

提供了一种挑选3D重建体积的部分的方法。方法以较低的计算资源和存储器空间使用率为各种移动XR应用提供了新鲜、准确和全面的3D重建数据。方法包括针对深度图像来挑选3D重建体积的部分。深度图像具有多个像素，每个像素表示到场景中表面的距离。在一些实施例中，方法包括针对平截头体挑选3D重建体积的部分。平截头体从图像传感器的视场中推导出，根据平截头体获得用于创建3D重建的图像数据。

相关申请的交叉引用

本申请要求于2017年12月22日提交的题为“VIEWPOINT DEPENDENT BRICKSELECTION FOR FAST VOLUMMETRIC RESTRUCTION(用于快速体积重建的视点相关砖块选择)”的美国临时专利申请序列号62/610,000的优先权和权益，其全部内容在此通过引用并入本文。本申请还要求于2017年12月22日提交的题为“MULTI-STAGE BLOCK MESHSIMPLIFICATION FOR MULTIPLE TARGETS(用于多个目标的多级区块网格简化)”的美国临时专利申请序列号62/609,990的优先权和权益，其全部内容在此通过引用并入本文。本申请还要求于2017年12月22日提交的题为“CACHING AND UPDATING OF DENSE 3DRECONSTRUCTION DATA ON MOBILE DEVICES(移动设备上密实3D重建数据的缓存和更新)”的美国临时专利申请序列号62/609,962的优先权和权益，其全部内容在此通过引用并入本文。本申请还要求于2017年12月22日提交的题为“METHOD OF OCCLUSION RENDERING USINGRAYCAST AND LIVE DEPTH(使用光线投射和实时深度进行遮挡渲染的方法)”的美国临时专利申请序列号62/609,979的优先权和权益，其全部内容在此通过引用并入本文。本申请还要求于2018年7月24日提交的题为“VIEWPOINT DEPENDENT BRICK SELECTION FOR FASTVOLUMMETRIC RESTRUCTION(用于快速体积重建的视点相关砖块选择)”的美国临时专利申请序列号62/702,761的优先权和权益，其全部内容在此通过引用并入本文。本申请还要求于2018年7月24日提交的题为“CACHING AND UPDATING OF DENSE 3D RECONSTRUCTIONDATA(密实3D重建数据的缓存和更新)”的美国临时专利申请序列号62/702,740的优先权和权益，其全部内容在此通过引用并入本文。本申请还要求于2018年7月24日提交的题为“METHOD OF OCCLUSION RENDERING USING RAYCAST AND LIVE DEPTH(使用光线投射和实时深度进行遮挡渲染的方法)”的美国临时专利申请序列号62/702,736的优先权和权益，其全部内容在此通过引用并入本文。

技术领域

本申请总体上涉及使用3D世界重建来渲染场景的跨现实系统。

背景技术

计算机可以控制人类用户接口以创建X现实(XR或跨现实)环境，在该环境中，由计算机生成被用户所感知(perceive)的XR环境的部分或全部。这些XR环境可以是虚拟现实(VR)、增强现实(AR)和混合现实(MR)环境，其中XR环境的部分或全部可以由计算机部分地使用描述该环境的数据生成。该数据可以描述例如虚拟对象，该虚拟对象可以以用户感应(sense)或感知为物理世界的一部分并且可以与虚拟对象交互的方式来渲染。由于数据是通过用户接口设备(例如，头戴式显示设备)渲染和呈现的，因此用户可能体验到这些虚拟对象。数据可以显示给用户看，或者可以控制播放给用户听的音频，或者可以控制感触(tactile)(或触觉(haptic))接口，从而使用户能够体验到用户感应或感知到感觉虚拟对象的触摸感觉。

XR系统可对许多应用很有用，跨越科学可视化、医学培训、工程设计和原型制作、远程操纵和远程呈现以及个人娱乐等领域。与VR相比，AR和MR包括一个或多个与物理世界的真实对象相关的虚拟对象。虚拟对象与真实对象交互的体验极大地增强了用户使用XR系统的乐趣，也为各种应用打开了大门，这些应用呈现了有关如何改变物理世界的现实且易于理解的信息。

发明内容