[发明专利]用于生成场景中的表面的三维重建的方法和设备

说明书

提供了一种挑选3D重建体积的部分的方法。方法以较低的计算资源和存储器空间使用率为各种移动XR应用提供了新鲜、准确和全面的3D重建数据。方法包括针对深度图像来挑选3D重建体积的部分。深度图像具有多个像素，每个像素表示到场景中表面的距离。在一些实施例中，方法包括针对平截头体挑选3D重建体积的部分。平截头体从图像传感器的视场中推导出，根据平截头体获得用于创建3D重建的图像数据。

本申请是申请号为201880089910.8的中国专利申请“用于生成场景中 的表面的三维重建的方法和设备”(申请日为2018年12月21日)的分案 申请。

相关申请的交叉引用

本申请要求于2017年12月22日提交的题为“VIEWPOINT DEPENDENT BRICKSELECTION FOR FAST VOLUMMETRIC RESTRUCTION(用于快速体积重建的视点相关砖块选择)”的美国临时 专利申请序列号62/610,000的优先权和权益，其全部内容在此通过引用并 入本文。本申请还要求于2017年12月22日提交的题为“MULTI-STAGE BLOCK MESHSIMPLIFICATION FOR MULTIPLE TARGETS(用于多个目标的多级区块网格简化)”的美国临时专利申请序列号62/609,990的 优先权和权益，其全部内容在此通过引用并入本文。本申请还要求于2017 年12月22日提交的题为“CACHING AND UPDATING OF DENSE 3DRECONSTRUCTION DATA ON MOBILE DEVICES(移动设备上密实 3D重建数据的缓存和更新)”的美国临时专利申请序列号62/609,962的优 先权和权益，其全部内容在此通过引用并入本文。本申请还要求于2017 年12月22日提交的题为“METHOD OF OCCLUSION RENDERINGUSING RAYCAST AND LIVE DEPTH(使用光线投射和实时深度进行遮 挡渲染的方法)”的美国临时专利申请序列号62/609,979的优先权和权益， 其全部内容在此通过引用并入本文。本申请还要求于2018年7月24日提 交的题为“VIEWPOINT DEPENDENT BRICK SELECTIONFOR FAST VOLUMMETRIC RESTRUCTION(用于快速体积重建的视点相关砖块选 择)”的美国临时专利申请序列号62/702,761的优先权和权益，其全部内 容在此通过引用并入本文。本申请还要求于2018年7月24日提交的题为“CACHING AND UPDATING OF DENSE 3DRECONSTRUCTION DATA(密实3D重建数据的缓存和更新)”的美国临时专利申请序列号 62/702,740的优先权和权益，其全部内容在此通过引用并入本文。本申请 还要求于2018年7月24日提交的题为“METHOD OF OCCLUSION RENDERING USING RAYCAST AND LIVE DEPTH(使用光线投射和实 时深度进行遮挡渲染的方法)”的美国临时专利申请序列号62/702,736的优先权和权益，其全部内容在此通过引用并入本文。

技术领域

本申请总体上涉及使用3D世界重建来渲染场景的跨现实系统。

背景技术

计算机可以控制人类用户接口以创建X现实(XR或跨现实)环境， 在该环境中，由计算机生成被用户所感知(perceive)的XR环境的部分或 全部。这些XR环境可以是虚拟现实(VR)、增强现实(AR)和混合现 实(MR)环境，其中XR环境的部分或全部可以由计算机部分地使用描述该环境的数据生成。该数据可以描述例如虚拟对象，该虚拟对象可以以 用户感应(sense)或感知为物理世界的一部分并且可以与虚拟对象交互的 方式来渲染。由于数据是通过用户接口设备(例如，头戴式显示设备)渲染和呈现的，因此用户可能体验到这些虚拟对象。数据可以显示给用户看， 或者可以控制播放给用户听的音频，或者可以控制感触(tactile)(或触 觉(haptic))接口，从而使用户能够体验到用户感应或感知到感觉虚拟对象的触摸感觉。