[发明专利]多相机交叉现实设备

权利要求书

1.一种可穿戴显示系统，所述可穿戴显示系统包括：

头戴式装置；

两个第一相机，其被机械地耦合到所述头戴式装置；第一惯性测量单元，其被机械地耦合到所述两个第一相机中的第一第一相机；以及第二惯性测量单元，其被机械地耦合到所述两个第一相机中的第二第一相机；以及

处理器，其被可操作地耦合到所述两个第一相机并被配置为：

执行校准例程，所述校准例程被配置为使用由所述两个第一相机获取的图像、以及所述第一惯性测量单元和所述第二惯性测量单元的输出，确定所述两个第一相机的相对取向。

2.根据权利要求1所述的可穿戴显示系统，其中，所述校准例程在被执行时进一步确定所述两个第一相机的相对位置。

3.根据权利要求1所述的可穿戴显示系统，其中，执行所述校准例程包括：

识别用所述第一第一相机和所述第二第一相机中的每一者获取的图像中的对应特征；

对于所述两个第一相机的多个估计相对取向中的每一者，计算误差，其中，所述误差指示出现在用所述两个第一相机中的每一者获取的图像中的所述对应特征与基于所述两个第一相机的所述估计相对取向而计算的所识别特征的估计之间的差异；以及

基于所计算的误差，选择所述多个估计相对取向中的相对取向作为所确定的相对取向。

4.根据权利要求2所述的可穿戴显示系统，其中：

所述校准例程还包括：部分地基于所述第一惯性测量单元和所述第二惯性测量单元的所述输出，至少选择所述多个估计相对取向的初始估计。

5.根据权利要求1所述的可穿戴显示系统，其中，所述可穿戴显示系统还包括：

彩色相机，其被耦合到所述头戴式装置；以及

所述处理器还被配置为：

使用所述两个第一相机和所述彩色相机来创建世界模型；以及

以第一速率，使用所述两个第一相机来更新所述世界模型；以及

以比所述第一速率慢的第二速率，使用所述两个第一相机和所述彩色相机来更新所述世界模型。

6.根据权利要求1所述的可穿戴显示系统，其中：

所述两个第一相机被机械地耦合到所述头戴式装置，以便提供与所述两个第一相机都相关联的中央视场和与所述两个第一相机中的第一第一相机相关联的外围视场；以及

所述处理器还被配置为使用根据由所述两个第一相机获取的图像而确定的深度信息来跟踪所述中央视场中的手部运动。

7.根据权利要求6所述的可穿戴显示系统，其中，使用深度信息来跟踪所述中央视场中的手部运动包括：

在所述中央视场中选择点；

使用由所述两个第一相机获取的图像，立体地确定所选择的点的深度信息；

使用被立体地确定的深度信息，生成深度图；以及

将所述深度图的部分与包括形状约束和运动约束两者的手部模型的对应部分进行匹配。

8.根据权利要求6所述的可穿戴显示系统，其中：

所述处理器还被配置为将所述图像的部分与包括形状约束和运动约束两者的手部模型的对应部分进行匹配，从而使用由所述两个第一相机获取的一个或多个图像来跟踪所述外围视场中的手部运动。

9.根据权利要求1所述的可穿戴显示系统，其中，所述头戴式装置是重量在30至300克之间的轻型头戴式装置。

10.根据权利要求9所述的可穿戴显示系统，其中，所述头戴式装置还包括所述处理器。

11.根据权利要求9所述的可穿戴显示系统，其中，所述头戴式装置还包括电池组。

12.根据权利要求1所述的可穿戴显示系统，其中，所述两个第一相机被配置为获取灰度图像。

13.根据权利要求1所述的可穿戴显示系统，其中，所述处理器被机械地耦合到所述头戴式装置。