[发明专利]具有世界传感器和用户传感器的显示系统

说明书

本发明公开了一种混合现实系统，该混合现实系统包括头戴式显示器(HMD)，该HMD提供用虚拟内容增强的用户的环境的3D虚拟视图。该HMD可包括收集有关用户的环境的信息(例如，视频、深度信息、照明信息等)的传感器和收集有关用户的信息(例如，用户的表情、眼睛移动、手势等)的传感器。该传感器将该信息作为输入向控制器提供，该控制器至少部分地基于来自该传感器的输入来渲染包括虚拟内容的帧。该HMD可显示由控制器生成的帧以提供包括虚拟内容的3D虚拟视图和用户环境的视图以供用户查看。

背景技术

虚拟现实(VR)允许用户体验沉浸式人工环境并且/或者与沉浸式人工环境相互作用，使得用户感觉好像他们实际上处于物理环境中。例如，虚拟现实系统可将立体场景显示给用户以便创建深度错觉，并且计算机可实时调整场景内容，以提供用户在场景内移动的错觉。当用户通过虚拟现实系统查看图像时，从第一人称的角度来看，用户可因此感觉好像他们在场景内移动。类似地，混合现实(MR)将计算机生成的信息(称为虚拟内容)与真实世界图像或真实世界视图相结合，以增强或添加内容到世界的用户视图。因此，虚拟现实的模拟环境和/或增强现实的混合环境可用于为多种应用提供交互式用户体验，诸如将虚拟内容添加到观察者环境的实时视图的应用、与虚拟培训环境进行交互的应用、游戏应用、远程控制无人驾驶飞机或其他机械系统的应用、查看数字媒体内容的应用、与互联网交互的应用等。

发明内容

描述了混合现实系统的实施方案，该混合现实系统可包括混合现实设备，诸如头戴式耳机、头盔，护目镜或眼镜(本文中称为头戴式显示器(HMD))，该混合现实设备包括用于向用户的眼睛投射或显示包括左图像和右图像的帧的投影仪机构，从而向用户提供3D虚拟视图。3D虚拟视图可包括用虚拟内容(例如，虚拟对象，虚拟标签等)增强的用户环境的视图。混合现实系统可包括收集有关用户环境的信息(例如，视频、深度信息、照明信息等)的面向世界的传感器，以及收集有关用户的信息(例如，用户的表情、眼睛移动、手势等)的面向用户的传感器。传感器提供该信息作为到混合现实系统的控制器的输入。控制器可至少部分地基于来自世界传感器和用户传感器的输入来渲染包括虚拟内容的帧。该控制器可以集成在HMD中，或替代地可至少部分地由HMD外部的设备实现。HMD可显示由控制器生成的帧以提供包括虚拟内容的3D虚拟视图和用户环境的视图以供用户查看。

在一些实施方案中，传感器可包括捕获用户环境的高质量视图的一个或多个摄像机，该高质量视图可用于向用户提供其真实环境的虚拟视图。在一些实施方案中，传感器可包括捕获用于用户环境的深度或范围信息的一个或多个传感器。在一些实施方案中，传感器可包括可捕获有关用户在环境中的位置、取向和运动的信息的一个或多个传感器。在一些实施方案中，传感器可包括捕获用户环境中的照明信息(例如，方向、颜色、强度)的一个或多个摄像机，该照明信息可例如用于在虚拟视图中渲染(例如，着色和/或照明)内容。在一些实施方案中，传感器可包括追踪用户眼睛的位置和移动的一个或多个传感器。在一些实施方案中，传感器可包括追踪用户的手部、手指和/或臂部的位置、移动和姿态的一个或多个传感器。在一些实施方案中，传感器可包括追踪用户的眉毛/前额的表情的一个或多个传感器。在一些实施方案中，传感器可包括追踪用户的口部/颌部的表情的一个或多个传感器。

附图说明

图1示出了根据至少一些实施方案的混合现实系统。

图2A至图2C示出根据至少一些实施方案的头戴式显示器(HMD)的面向世界的传感器和面向用户的传感器。

图3为根据至少一些实施方案的用于如图1至图2C所示的混合现实系统的操作方法的流程图。

图4示出根据至少一些实施方案的混合现实系统的部件。

本说明书包括参考“一个实施方案”或“实施方案”。出现短语“在一个实施方案中”或“在实施方案中”并不一定是指同一个实施方案。特定特征、结构或特性可以与本公开一致的任何合适的方式被组合。