[发明专利]具有世界传感器和用户传感器的显示系统

权利要求书

1.一种混合现实系统，包括：

控制器，所述控制器包括一个或多个处理器；和

头戴式显示器(HMD)，所述HMD被配置为向用户显示3D虚拟视图，其中所述HMD包括：

左显示器和右显示器，所述左显示器和所述右显示器用于向用户的眼睛显示包括左图像和右图像的帧，以向所述用户提供3D虚拟视图；

多个传感器，所述多个传感器被配置为收集有关所述用户和所述用户的环境的信息，并向所述控制器提供所述信息，其中所述多个传感器包括：

一个或多个摄像机，所述一个或多个摄像机被配置为捕获所述用户的环境的视图；

一个或多个世界标测传感器，所述一个或多个世界标测传感器被配置为为在所述用户的环境中的真实对象确定范围信息；和

一个或多个眼睛追踪传感器，所述一个或多个眼睛追踪传感器被配置为追踪所述用户的眼睛的位置和移动；

其中所述控制器被配置为

基于来自所述一个或多个世界标测传感器的所述范围信息确定被调整深度，在3D虚拟视图中在所述被调整深度处渲染通过所述一个或多个摄像机在视图中捕获的在所述用户的环境中的所述真实对象中的一个或多个；以及

渲染用于由所述HMD显示的帧，所述帧包括在所捕获的所述用户的环境的视图中的一个或多个真实对象、以及虚拟内容，所述一个或多个真实对象在用于所述一个或多个真实对象的被调整深度处被渲染，所述虚拟内容至少部分地基于来自所述一个或多个世界标测传感器的所述范围信息和所述一个或多个眼睛追踪传感器所追踪的所述用户的眼睛的所述位置和所述移动而被合成到所捕获的所述用户的环境的视图中。

2.根据权利要求1所述的系统，其中所述控制器被配置为至少部分地基于来自所述一个或多个世界标测传感器的所述范围信息来确定渲染所述3D虚拟视图中的所述虚拟内容的深度。

3.根据权利要求1所述的系统，其中所述控制器被配置为：

基于所述一个或多个眼睛追踪传感器所确定的所述用户的眼睛的所述位置来确定所述用户注视的所述3D虚拟视图内的区域；以及

以比所述3D虚拟视图的其他区域中更高的分辨率来渲染所确定的区域中的内容。

4.根据权利要求1所述的系统，其中所述多个传感器还包括：

一个或多个头部姿势传感器，所述一个或多个头部姿势传感器被配置为捕获有关所述环境中所述用户的位置、取向和运动的信息；

一个或多个光传感器，所述一个或多个光传感器被配置为捕获所述用户的环境中的照明信息，所述照明信息包括颜色、强度和方向；

一个或多个手传感器，所述一个或多个手传感器被配置为追踪所述用户的手部的位置、移动和姿态；

一个或多个眉毛传感器，所述一个或多个眉毛传感器被配置为追踪所述用户的眉毛的表情；和

一个或多个下颌传感器，所述一个或多个下颌传感器被配置为追踪所述用户的口部和颌部的表情。

5.根据权利要求4所述的系统，其中所述控制器被配置为至少部分地基于由所述一个或多个光传感器捕获的所述照明信息来为所述虚拟内容渲染照明效果。

6.根据权利要求4所述的系统，其中所述HMD还包括惯性测量单元(IMU)，其中所述控制器被配置为：

用由所述一个或多个头部姿势传感器捕获的信息来增强从所述IMU接收的信息以确定所述用户在所述环境中的当前的位置、取向和运动；以及

至少部分地基于所确定的所述用户的当前的位置、取向和运动来渲染用于由所述HMD显示的所述帧。

7.根据权利要求4所述的系统，其中所述控制器被配置为至少部分地基于由所述一个或多个眼睛追踪传感器、所述一个或多个眉毛传感器和所述一个或多个下颌传感器收集的信息来渲染所述用户的面部的化身以用于在所述3D虚拟视图中显示。

8.根据权利要求4所述的系统，其中所述控制器被配置为至少部分地基于由所述一个或多个手传感器收集的信息来渲染所述用户的手部的表示以用于在所述3D虚拟视图中显示。