[发明专利]用于增强现实中用户交互的方法和装置

说明书

用于增强现实中用户交互的方法和装置。该方法包括以下步骤：由摄像头获取真实场景中具有已知几何结构的对象的图像帧；并且估计该对象在图像帧中相对于摄像头的姿态。通过在3D坐标系中的3D位置处渲染光标，在显示器上显示光标。在对象的预定部分落在该3D位置处时，向用户呈现输出。输出的内容基于对象的预定部分。

技术领域

本公开总体涉及增强现实领域，更具体地涉及用于增强现实中用户交互的方法和系统。

背景技术

增强现实(AR)已经随着计算机技术的进步而变得越来越常见。AR的一般定义是捕捉真实世界场景并使用软件添加人工(虚拟)元素。这可以增强用户对真实世界的感知或向用户提供娱乐。

用于实施AR的一种平台是智能电话或平板电脑。摄像头、显示装置以及处理器在同一装置上的存在允许软件将人工元素容易地添加到由摄像头捕捉的生动场景。而且，软件利用运动传感器和定位器(例如，加速度计和GPS)在这些装置上的存在来更佳地实施AR。

另一种平台是头戴式显示器(HMD)，HMD可以实施提供较丰富AR体验的AR。这些系统通常为棱镜被放置在眼睛前面的眼镜。用户直接借助眼镜来观看场景。棱镜允许将人工图像叠加在如由用户感知的场景上。同时，HMD使用摄像头从场景采集数据。

在至少一些已知AR系统中，用户不能与AR环境交互，并且用户限于在没有能够确定正在示出什么或获得另外信息的能力的情况下观看AR环境。

发明内容

为了增强用户的AR体验，本公开的实施方式允许用户选择对象或对象的一部分，并且接收来自AR装置的输出，该输出基于所选对象或该对象的一部分。输出是人可辨识的输出，诸如AR场景中或单独显示器上的视觉显示、音频输出、触觉输出(诸如振动)或任意其他合适输出。

本公开的一些方面的优点是解决上述问题中的至少一部分，并且本公开的方面可以实施为以下方面。

本公开的一个方面是一种一个或更多个处理器在具有摄像头和显示器的装置中实施的方法。方法包括以下步骤：由摄像头获取真实场景中具有已知几何结构的对象的图像帧；以及估计对象在图像帧中相对于摄像头的姿态。通过在3D坐标系中的3D位置处渲染光标，在显示器上显示光标，并且在对象的预定部分落在3D位置处时，向用户呈现输出。输出的内容基于对象的该预定部分。

本公开的另一个方面是一种一个或更多个处理器在具有摄像头和显示器的装置中实施的方法。方法包括以下步骤：由摄像头获取真实场景中的对象的图像帧；以及估计对象在图像帧中相对于摄像头的姿态。在对象的姿态落在预定姿态内时，向用户呈现输出。输出的内容基于该预定姿态。

附图说明

将参照附图描述本公开，附图中，同样的附图标记引用同样的要素。

图1是例示了示例HMD的示意构造的图。

图2是例示了图1所示的HMD的功能构造的框图。

图3是例示了图1和图2所示的HMD在三维(3D)真实世界场景中的使用的图。

图4是例示了目标对象姿态估计过程的流程图。

图5是例示了单个2D模型点与在特定边缘中包括的多个图像点组合的图。

图6是例示了2D模型点与错误图像点组合的示例的图。

图7至图9是例示了相似性得分的计算的示例的图。

图10是使用光标的方法的示例实施方式的流程图。

图11例示了相对于HMD的三维X、Y以及Z。

图12是基于用户眼睛的位置确定光标的3D位置的示例HMD。

图13是不使用光标的示例方法的流程图。