[发明专利]用图像投影的虚拟交互

说明书

提供了涉及在虚拟环境中提供低等待时间交互的实施例。在一个实施例中，接收(350)手部(74)的初始图像以及表示(76)初始实际位置的初始深度信息。该初始图像被投影到虚拟环境(38)中的初始虚拟位置(78)。提供该初始图像(71)的分割版本(80)以供显示(312)在虚拟环境(308)中的初始虚拟位置(78)。接收手部的后续图像(82)以及表示后续实际位置(370)的深度信息(84)。后续图像(82)被投影到虚拟环境(308)中的后续虚拟位置(86)。提供后续图像(82)的分割版本(92)以供显示在该后续虚拟位置(86)。检测手部的三维表示与虚拟或物理对象之间的触碰。

背景

在一些虚拟现实和混合现实显示系统中，在虚拟环境中模拟类似触摸的沉浸式交互可能是合乎需要的。例如，用户可能想要以与她在物理世界中处置虚拟对象类似的方式用她的手部运动来操纵这一对象。然而，启用这一沉浸式且自然的类似触摸的交互已被证明是有挑战性的。

启用与虚拟对象的交互的先前尝试包括使用用户手部的符号或呈现表示。然而，这些方法通常利用可能向体验增加显著等待时间的精确的手部跟踪。另外，在此类直接物理-虚拟交互中，交互手“直接”被用户诸如经由透明的头戴式显示器/虚拟现实系统看到。此类系统通常包括显著的虚拟显示等待时间，因为用户直接看到手的时间对应于虚拟系统的处理刚刚开始。因此，在这些系统中，显示器帧率(例如，每秒帧数)由于所经历的交互等待时间而不可避免地低于下界。查看用户手部的符号或呈现表示还造成不直观且自然的体验。姿势识别系统通常还利用精确的手部和手指跟踪，并且受限于用户被迫学习的符号姿势“语言”。

捕捉和使用用户手部的轮廓一般涉及用户朝着捕捉设备和显示屏举起他的手以及在该举起位置执行移动。在这些系统中，相机位置(例如，前传感器)在向上举手(朝着传感器)时通常只能捕捉到内手掌。这一位置在较长时段内可能是无聊且不舒适的。此外，用户的手部可能遮挡用户对正在操纵的对象的查看。另外，捕捉到的用户手掌的内侧的图像通常被呈现为用户手部的相对外侧的彩色轮廓或阴影。这样操纵的手部表示还造成感知到较不直观且间接的交互体验。

这种内手掌轮廓呈现的另一缺点在手改变离传感器的距离(例如，在向显示器/传感器伸手时，手移动靠近虚拟对象且远离用户)时出现。在此情形中，轮廓的大小相应地改变(例如，由于移动靠近传感器而变得更大)。然而，对于用户而言，这样的改变就轮廓将如何自然地改变以逼真地模拟外手掌的轮廓而言是违反直觉的(例如，它将在它移动远离人时变得更小)。以此方式，此类基于轮廓的系统提供较不真实的手部图像呈现。

概述

本文公开了涉及在虚拟环境中提供低等待时间交互的各实施例。例如，所公开的一个实施例提供了一种方法，该方法包括接收用户手部的背面的初始图像以及表示该手部的初始实际位置的对应的初始深度信息。使用该初始深度信息，将初始图像投影到虚拟环境中的初始虚拟位置，该初始虚拟位置对应于初始实际位置。向显示设备提供该初始图像的分割版本以供显示在虚拟环境中的初始虚拟位置。

该方法包括接收用户手部的背面的后续图像以及表示与初始实际位置不同的手部的后续实际位置的对应的后续深度信息。使用该后续深度信息，将后续图像投影到虚拟环境中的后续虚拟位置，该后续虚拟位置对应于后续实际位置。向显示设备提供该后续图像的分割版本以供显示在虚拟环境中的后续虚拟位置。该方法然后包括检测手部的三维表示与虚拟环境中的虚拟对象之间的触碰。

提供本概述是为了以精简的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。

附图简述

图1是根据本公开的一实施例的接口系统和显示设备的示意图。

图2示出根据本公开的一实施例的示例头戴式显示设备。

图3是根据本公开的一实施例的用户经由接口系统与显示设备上所显示的示例虚拟环境交互的示意图。