[发明专利]基于检测到的对象来定位的虚拟内容

说明书

本公开涉及基于检测到的对象来定位的虚拟内容。本文所公开的各种具体实施包括使用对象作为虚拟内容的背景的设备、系统和方法。一些具体实施涉及获得物理环境的图像。基于该图像来检测对象的表面的位置。确定用于显示虚拟内容的虚拟内容位置，其中该虚拟内容位置与该对象的表面的位置对应。然后，提供物理环境和在虚拟内容位置处显示的虚拟内容的视图。

相关申请的交叉引用

本申请要求2019年6月19日提交的美国临时申请序列62/863,359号的权益，该申请全文以引用方式并入本文。

技术领域

本公开整体涉及电子设备，并且具体地涉及用于显示虚拟内容的系统、方法和设备。

背景技术

包括在虚拟内容中的文本、图像和其他虚拟增强内容可能难以让人看到或理解。例如，虚拟内容可与跟其一起被显示的周围物理环境部分地或完全地混合。就光学透视显示器而言，透明显示器的有限动态范围、物理环境中的照明条件(例如，明亮的阳光)或观察到的物理环境的空间频率(例如，亮度或色度)可使得难以让人看到或理解虚拟内容。例如，在其中物理环境被明亮照明或包含不同颜色、深度或高频对比度边缘的情况下，虚拟内容可能难以让人看到或理解。

发明内容

本文所公开的各种具体实施包括用于提供计算机生成现实(CGR)内容的设备、系统和方法，该CGR内容包括基于具体检测到的对象(诸如用户的手部)的表面而显示的虚拟内容。在光学透视头戴式设备(HMD)中的各种具体实施中，虚拟内容(例如，文本)的背景是直接通过HMD的透视部分看到的物理环境。HMD可对物理环境的外观具有很少的控制(如果有的话)，如通过HMD的透视部分所看到的。此外，该虚拟内容可被用户视为背景物理环境、环境光源(例如，淡红阳光)和虚拟内容的实际颜色的组合。在一些具体实施中，除了物理环境提供的光之外，还通过在透视显示器处添加光来将该虚拟内容作为覆盖层而提供。结合物理环境(例如，由用户)看到虚拟内容。在这些和其他情况下，通过在相对于表面的位置中选择性地显示虚拟内容来改善虚拟内容的可视性，该表面具有可使得虚拟内容更易于看到或理解的特征。例如，在用户的手部的相对一致且平坦的表面上显示虚拟内容可使得虚拟对象比在具有可变颜色和移动叶子的树前面显示该虚拟内容更容易看到。

本文所公开的各种具体实施包括使用用户的手部作为能够在CGR环境中渲染增强内容(例如，虚拟内容)的可检测且相对明确定义的背景的设备、系统和方法。在一些具体实施中，使用手部(例如，手掌、拳头、手背、或它们的表面)作为背景具有优势。该手部可具有一致的形状、颜色、亮度或位置，假设用户相对静止地保持他或她的手部。此外，所渲染的虚拟内容可基于在该HMD处相对于当前照明条件(例如，其可由传感器诸如环境光传感器或任何其他相机传感器感测到)的用户的手部反射(例如，其颜色)来显示(例如，在视觉上优化)。

一些具体实施使用位于HMD处或与HMD通信的传感器来检测和跟踪手部相对于HMD的位置。在各种具体实施中，使用基于同时定位和映射(SLAM)的技术或基于RGB-D的技术来执行检测和跟踪。在各种具体实施中，检测和跟踪手部的位置涉及将手部颜色或手部模型与深度映射图等相关联以检测和跟踪手部的形状以及相对于HMD的姿态(例如，取向和位置)。

在一些具体实施中，在检测到手部之后，增强内容(例如，虚拟内容覆盖层)相对于手部表面(例如，手部表面前方的平面或拟合到手部表面的平面)定位。在一些具体实施中，根据手部的颜色以及照明条件来修改或校正虚拟内容的外观(例如，针对可视性或对比度)。一般来讲，以手部作为背景的虚拟内容对于HMD用户来将可能更易看见或可理解，因为手部的皮肤可能包含很少的高频纹理变化。

在一些具体实施中，可通过将固定的标度应用到所检测到的手部尺寸来容易地放大虚拟内容，例如，可通过将手部移动得更靠近HMD来直接放大虚拟内容，并且可通过将手部移动得更远离HMD来减小虚拟内容的尺寸。