[发明专利]使用传感器融合的经优化对象扫描

说明书

传感器融合被用在诸如头戴式显示(HMD)设备的电子设备中，所述电子设备具有配备有不同的传感器的传感器封装，从而对所捕捉的在现实世界环境中的对象或场景的2D图像进行补充的信息可被用于确定图像立体对的经优化变换并丢弃误差数据，否则这些误差数据将妨碍用于在例如虚拟世界应用中构建3D模型的成功扫描。这样的补充信息可以包括世界位置、世界旋转、来自扩展视野(FOV)的图像数据或深度图数据中的一个或多个。

背景

对象扫描可以用于将对象的多个二维(2D)图像变换成三维(3D)计算描述模型。一种特定的对象扫描技术利用对象上的特征点，以便确定如何将多个2D图像组合成3D模型。然而，在一些情况中，这种技术的应用可以是次优的，因为没有足够细节的对象可能难以扫描。

概述

传感器融合被用在诸如头戴式显示(HMD)设备的电子设备中，所述电子设备具有配备有不同的传感器的传感器封装，这样，对所捕捉的在现实世界环境中的对象或场景的2D图像进行补充的信息可被用于确定图像立体对的经优化变换并丢弃误差数据，否则这些误差数据将妨碍用于在例如虚拟世界应用中构建3D模型的成功扫描。这样的补充信息可以包括世界位置、世界旋转、来自扩展视野(FOV)的图像数据或深度图数据中的一个或多个。

在各种说明性示例中，来自跟踪相机(即图像传感器)和/或惯性传感器的世界跟踪信息提供了用于姿态优化的初始点，并且当计算的姿态与所跟踪的位置和旋转不一致时可以丢弃不正确的姿态。扩展FOV相机可以被用于2D姿态确定，同时高分辨率相机可以捕捉具有附加独特细节的2D图像，所述细节可以被用于针对3D模型将图像拼接在一起。2D图像捕捉可以在特定时间被触发以允许进一步的扫描优化。例如，世界跟踪可以被用于确定设备的运动，使得当所述设备静止或具有最小化模糊效果的最少运动时能捕捉各图像。世界跟踪也使得2D图像能够在现实世界环境中的等间隔的位置处被捕捉，以因为在各个位置的每个位置处所生成的深度图中的类似误差特性而提高所构建的3D模型的质量。

通过采用传感器融合来利用来自多个传感器的补充信息，在构造3D模型时与仅仅使用惯性数据以提供如何组合2D图像的提示相比，可获得更加稳健和精确的数据。另外，使用传感器融合的对象扫描可以通过使计算资源能够被更加有效地利用来改善电子设备自身在典型应用中的操作。例如，来自世界跟踪的姿势优化和不正确姿势的丢弃可以在标识给定3D模型的局部最小值时减少处理迭代和存储器使用率。类似地，使用更少(但均匀间隔)图像的3D模型构造可以导致降低的处理器使用率以及存储器消耗。

提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并非旨在标识出要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。应当理解，上述主题可被实现为计算机控制的装置、计算机进程、计算系统或诸如一个或多个计算机可读存储介质等制品。通过阅读下面的详细描述并审阅相关联的附图，这些及各种其他特征将变得显而易见。

附图描述

图1示出说明性虚拟现实环境，在HMD设备的用户视野内呈现了该虚拟现实环境的一部分；

图2示出其中定位有HMD设备的用户的说明性现实世界环境；

图3是虚拟现实或混合现实HMD设备的说明性示例的图形视图；

图4示出了虚拟现实或混合现实HMD设备的说明性示例的功能框图；以及

图5描绘了正被HMD设备捕捉的与现实世界环境相关联的表面重构数据；

图6示出HMD设备所支持的说明性用户界面以及由HMD传感器封装提供的说明性数据；

图7示出了说明性表面重构流水线的框图；