[发明专利]增强现实显示器

权利要求书

1.一种系统，包括：

投影仪；和

控制器，所述控制器被配置为：

获得用于真实世界场景的至少一部分的预先生成的3D数据，其中所述预先生成的3D数据包括针对所述场景的相应区域的预先生成的3D网格；

确定所述预先生成的3D网格中的一者或多者，所述预先生成的3D网格中的所述一者或多者包括局部区域中的位于一个或多个传感器的范围内的部分；

使用从所述一个或多个传感器获得的点云数据来生成针对所述局部区域中的未包括在所述预先生成的3D网格中的部分的局部3D网格；以及

使用所述局部3D网格和所述预先生成的3D网格来生成所述场景的3D模型。

2.根据权利要求1所述的系统，其中所述点云数据包括多个数据点，其中每个数据点指示由所述一个或多个传感器检测到的所述局部区域内的表面上的点的深度、方向和高度。

3.根据权利要求1所述的系统，其中所述预先生成的3D网格包括所述场景中的超出所述传感器的范围的部分以及所述场景中的被所述场景中的物体或地形所遮挡的部分。

4.根据权利要求1所述的系统，其中所述一个或多个预先生成的3D网格包括所述场景中的位于所述一个或多个传感器的所述范围内的被所述一个或多个传感器的所述范围内的物体或地形所遮挡的部分。

5.根据权利要求1所述的系统，其中为了生成所述局部3D网格，所述控制器被配置为查询点云以获取针对所述局部区域中的未包括在所述一个或多个预先生成的3D网格中的部分的数据点，其中针对所述局部区域中的包括在所述一个或多个预先生成的3D网格中的部分不执行查询。

6.根据权利要求1所述的系统，其中所述控制器被进一步配置为：

至少部分地根据所述3D模型来渲染所述场景的虚拟内容；以及

将经渲染的虚拟内容提供至所述投影仪以用于投影到显示器，其中所投影的虚拟内容向查看者提供所述场景的增强视图。

7.根据权利要求6所述的系统，其中所述预先生成的3D数据包括所述场景中的一个或多个表面的表面法线，并且其中，为了至少部分地根据所述3D模型来渲染所述场景的虚拟内容，所述控制器被配置为：确定来自所述场景中的光源的光的方向；

根据所述光的所述方向和表面的所述表面法线来确定所述表面在所述查看者的方向上反射所述光；以及

将打算显示在所述表面上或所述表面附近的所述虚拟内容的一部分移动至所述场景中的另一个位置。

8.根据权利要求6所述的系统，其中所述预先生成的3D数据包括针对所述场景中的一个或多个表面的包括表面法线、纹理和颜色的信息，并且其中为了至少部分地根据所述3D模型来渲染所述场景的虚拟内容，所述控制器被配置为根据所述表面信息来更改所述虚拟内容的一部分的渲染或位置。

9.根据权利要求6所述的系统，其中所述虚拟内容包括以下中的一者或多者：对所述场景中的在所述传感器的范围内的特征结构的指示、对所述场景中的超出所述传感器的范围的特征结构的指示、或对所述场景中的被所述场景中的物体或地形所遮挡的特征结构的指示。

10.根据权利要求6所述的系统，其中所述显示器被结合到车辆的挡风玻璃中。

11.根据权利要求10所述的系统，其中所述虚拟内容包括以下中的一者或多者：对路线中的在所述传感器的范围内的一部分的指示、对所述路线中的超出所述传感器的范围的一部分的指示、或对所述路线中的被所述场景中的物体或地形特征所遮挡的一部分的指示。

12.根据权利要求10所述的系统，其中所述虚拟内容包括被所述场景中的物体或地形特征所遮挡的移动对象的图形表示，其中所述控制器被配置为渲染所述移动对象的所述图形表示，使得所述移动对象对根据所述预先生成的3D数据所确定的地形几何结构的轮廓做出响应。