[发明专利]具有世界传感器和用户传感器的显示系统

摘要

本发明公开了一种混合现实系统，该混合现实系统包括头戴式显示器(HMD)，该HMD提供用虚拟内容增强的用户的环境的3D虚拟视图。该HMD可包括收集有关用户的环境的信息(例如，视频、深度信息、照明信息等)的传感器和收集有关用户的信息(例如，用户的表情、眼睛移动、手势等)的传感器。该传感器将该信息作为输入向控制器提供，该控制器至少部分地基于来自该传感器的输入来渲染包括虚拟内容的帧。该HMD可显示由控制器生成的帧以提供包括虚拟内容的3D虚拟视图和用户环境的视图以供用户查看。

主权项

1.一种系统，包括：控制器，所述控制器包括一个或多个处理器；和头戴式显示器(HMD)，所述HMD被配置为向用户显示3D虚拟视图，其中所述HMD包括：左显示器和右显示器，所述左显示器和所述右显示器用于向用户的眼睛显示包括左图像和右图像的帧，以向所述用户提供3D虚拟视图；多个传感器，所述多个传感器被配置为收集有关所述用户和所述用户的环境的信息，并向所述控制器提供所述信息，其中所述多个传感器包括：一个或多个摄像机，所述一个或多个摄像机被配置为捕获所述用户的环境的视图；一个或多个世界标测传感器，所述一个或多个世界标测传感器被配置为为在所述环境中的对象确定范围信息；和一个或多个眼睛追踪传感器，所述一个或多个眼睛追踪传感器被配置为追踪所述用户的眼睛的位置和移动；其中所述控制器被配置为渲染用于由所述HMD显示的帧，所述帧包括虚拟内容，所述虚拟内容至少部分地基于来自所述一个或多个世界标测传感器的所述范围信息和所述一个或多个眼睛追踪传感器所追踪的所述用户的眼睛的所述位置和所述移动而被合成到所捕获的所述用户的环境的视图中。