[发明专利]多相机交叉现实设备

说明书

一种具有有限数量相机的可穿戴显示系统。两个相机可以被布置为提供与两个相机中的一者相关联的重叠的中央视场和外围视场。第三相机可以被布置为提供与中央视场重叠的彩色视场。可穿戴显示系统可被耦合到处理器，该处理器被配置为使用两个相机生成世界模型并跟踪中央视场中的手部运动。处理器可被配置为执行校准例程以便补偿可穿戴显示系统的使用期间的变形。处理器可被配置为通过获取附加深度信息来识别和寻址包括不完整深度信息的世界模型的部分，诸如通过启用发射器，检测物理世界中的平坦表面或识别世界模型中的相关对象模板。

技术领域

本申请一般地涉及包括相机的可穿戴交叉现实显示系统。

背景技术

计算机可以控制人类用户界面以创建X现实(XR或交叉现实)环境，其中由用户感知的部分或全部XR环境由计算机生成。这些XR环境可以是虚拟现实(VR)、增强现实(AR)或混合现实(MR)环境，其中部分或全部XR环境可由计算机部分地使用描述环境的数据生成。该数据例如可以描述虚拟对象，这些虚拟对象可以以被用户感觉或感知为物理世界的一部分的方式呈现，以使得用户能够与虚拟对象进行交互。由于数据是通过用户界面设备，例如，头戴式显示设备，来呈现和展现的，因此用户可以体验这些虚拟对象。数据可以被显示给用户查看，或可以控制播放给用户聆听的音频，或者可以控制触感(或触觉)界面，使用户能够体验到用户感觉或感知为触摸虚拟对象的触感。

XR系统可用于许多应用，涵盖科学可视化、医学培训、工程设计和原型制作、远程操作和远程呈现以及个人娱乐等领域。与VR相比，AR和MR包括与物理世界的现实对象相关的一个或多个虚拟对象。虚拟对象与现实对象交互的体验极大地增强了用户使用XR系统的乐趣，也为提供有关可能如何改变物理世界的逼真且易于理解的信息的各种应用打开了大门。

发明内容

本申请的一些方面涉及包括多个相机的可穿戴交叉现实显示系统。本文描述的技术可以一起使用，单独地使用或以任何合适的组合使用。

根据一些实施例，提供了一种可穿戴显示系统，其中所述可穿戴显示系统可包括头戴式装置；两个第一相机，其被机械地耦合到所述头戴式装置；第一惯性测量单元，其被机械地耦合到所述两个第一相机中的第一第一相机，以及第二惯性测量单元，其被机械地耦合到所述两个第一相机中的第二第一相机；以及处理器，其被可操作地耦合到所述两个第一相机并被配置为：执行校准例程，所述校准例程被配置为使用由所述两个第一相机获取的图像、以及所述第一惯性测量单元和所述第二惯性测量单元的输出，确定所述两个第一相机的相对取向。

在一些实施例中，所述校准例程在被执行时可进一步确定所述两个第一相机的相对位置。在一些实施例中，执行所述校准例程可包括识别由所述第一第一相机和所述第二第一相机中的每一者获取的图像中的对应特征；对于所述两个第一相机的多个估计相对取向中的每一者，计算误差，其中，所述误差指示出现在用所述两个第一相机中的每一者获取的图像中的所述对应特征与基于所述两个第一相机的所述估计相对取向而计算的所识别特征的估计之间的差异；以及基于所计算的误差，选择所述多个估计相对取向中的相对取向作为所确定的相对取向。在一些实施例中，所述校准例程还可包括：部分地基于所述第一惯性测量单元和所述第二惯性测量单元的所述输出，至少选择所述多个估计相对取向的初始估计。

在一些实施例中，所述可穿戴显示系统还可包括彩色相机，其被耦合到所述头戴式装置；以及所述处理器还可被配置为：使用所述两个第一相机和所述彩色相机来创建世界模型；以第一速率，使用所述两个第一相机来更新所述世界模型；以及以比所述第一速率慢的第二速率，使用所述两个第一相机和所述彩色相机来更新所述世界模型。在一些实施例中，所述两个第一相机可被机械地耦合到所述头戴式装置，以便提供与所述两个第一相机都相关联的中央视场和与所述两个第一相机中的第一第一相机相关联的外围视场；以及所述处理器还可被配置为使用根据由所述两个第一相机获取的图像而确定的深度信息来跟踪所述中央视场中的手部运动。