[发明专利]用于对混合现实内容进行基于注视的控制的方法和系统

说明书

呈现了用于发现内容并将其定位到增强现实空间中的系统和方法。一种方法包括：形成增强现实(AR)头戴式显示器(HMD)的用户的周围环境的三维(3D)图；基于眼睛注视方向和眼睛聚散度来确定用户的注视点的深度方向位置；确定所述3D图中的视觉引导线路径；在一个或多个识别的焦点处沿着视觉引导线路径引导用户的动作；以及在与用户的注视方向相对应的位置处沿着视觉引导线路径渲染混合现实(MR)对象。

相关申请的交叉引用

本申请是提交的题目为“用于对混合现实内容进行基于注视的控制的方法和系统”的美国临时专利申请序列号No.62/660,428(2018年4月20日提交)的非临时申请，并且要求其在35U.S.C.§119(e)下的权益，且该申请的全部内容通过引用并入本文。

背景技术

在混合现实(MR)头戴式显示器(HMD)或护目镜的领域中，存在需要解决的交互问题。具体地，HMD用户需要操纵和控制嵌入到环境中的混合现实/增强现实(MR/AR)对象。增强的控制可以涉及提供附加信息，以及在用户的视场中呈现信息，同时关于目标设备规范来优化视图，诸如聚焦准确的观看平面和分辨率。

当前，观看AR/MR对象的细节所需的用户界面活动，例如选择对象，以及将其移动得更靠近以获得详细视图，通常是经由模态和姿态的组合来完成的，例如经由头部方向的选择，以及经由手势的操纵。例如，为了将对象移动到更靠近Microsoft^TM HoloLens^TM，用户必须执行以下步骤：1、将他的头部转向在要移动的对象的角上的“调整”工具图标；2、通过手指敲击激活所述调节工具；3，将他的头转向出现在对象上的“拖动以移动”图标；4、通过执行敲击并按住的手指姿态来开始移动所述对象；5、通过移动他的手来移动物体；6、释放敲击并按住的手指姿态以放下对象；7、将他的头转向对象上的“完成”图标；以及8、执行手指敲击姿态以激活“完成”图标。

尽管手指敲击和手移动姿态可以通过使用手持的基于陀螺仪的“点击器”控制器来代替，但是这种方法既费力又显著，并且在公共场所是困难的。

对于更自然的交互，眼睛注视的使用被广泛研究，最初作为残疾人的输入方法。注视跟踪系统也正在进入AR/MR HMD；例如，Google所运营的Eyefluence^TM正在与HMD制造商构建基于注视姿态的系统。

已经研究了使用注视控制的许多交互方法，诸如注视指向、注视姿态、基于停留的选择、多模式选择、通过跟随移动对象的选择、拖放(drag and drop)、旋转控制和滑动条、切换窗口、图像注释、阅读和注意力焦点。在头部转动的评估中已经报道了用于多模式对象控制的HMD友好方法，即《一种使用注视和头部转动的交互技术》。在第9届北欧人机交互会议(NordiCHI2016)和使用简单头部姿态的增强注视交互的议程(proceeding)中。在2012年ACM普适计算会议(UbiComp 2012)的议程中，以及其他交互方式。。

特别令人感兴趣的是关注快速检查对象、选择和操纵(移动)对象的功能。该功能类似于使用眼睛注视的拖放，并且已经至少在《在人机交互技术中使用眼睛移动：你所看的是你得到的》(ACM学报，信息系统，卷9，第2页(ACM Trans.Inf.Syst.9，2)，Jacob，1991年4月)以及《用于虚拟环境的基于注视的交互》(J.UCS，14(19)，3085-3098，Jimenez，Gutierrez，D.，Latorre，2008年)中描述的一些方法。然而，少数报告的研究仅关注2D动作，并且未能考虑深度方面，例如，如MR HMD设备上将需要的对象在3D空间中的移动。而且，该方法需要类似于上述Hololens^TM示例的多个步骤。

随着MR内容增强开始变得普遍，MR HMD用户将面临控制如何以及何时显示该内容的困难。这样的内容增强实际上可以与用户看到的任何真实世界或虚拟内容相关联，诸如路灯、交通标志、商店标志和橱窗中的广告、公共通知、人、车辆等。