[发明专利]增强现实显示器

说明书

本公开提供了一种AR系统，该AR系统利用世界的预先生成的3D模型来改善场景的AR视图(例如移动车辆前方的世界的AR视图)的3D图形内容的渲染。通过利用预先生成的3D模型，AR系统可使用各种技术来增强系统的渲染能力。AR系统可从远程来源(例如，基于云端的存储装置)获得预先生成的3D数据(例如，3D图块)，并且可利用该预先生成的3D数据(例如，3D网格、纹理和其他几何信息)来增强本地数据(例如，由车辆传感器所采集的点云数据)以确定比从本地数据能够获得的更多有关场景的信息，包括有关场景的被遮挡区域或远处区域的信息。

背景技术

遥感技术为不同的系统提供有关该系统的外部环境的信息。各种技术应用可依赖于遥感系统和遥感装置来操作。此外，随着越来越多的系统试图利用更大量的数据以在动态环境中执行不同的任务；遥感提供可有利于决策的环境数据。例如，引导机器操作的控制系统可利用遥感装置来检测工作空间内的对象。又如，增强现实(AR)系统可利用遥感装置来提供关于环境中对象的深度信息。在一些情形中，基于激光的感测技术，例如光测距与检测(激光雷达)，能够提供高分辨率的环境数据，诸如深度图，其可表示不同对象与激光雷达的接近度。

在实时增强现实作为在不断变化的环境中以各种速度和角度行驶的车辆中的主要显示技术时，其面临各种挑战。天气状况、阳光和车辆运动学仅为可能影响渲染但还限制系统的总体功能的几个因素。这点尤其正确，因为车载传感器具有固定范围并且通常需要用于优化影响总体质量和响应时间的查询的算法。

发明内容

本公开描述了例如可用于车辆中的增强现实(AR)显示器的方法和系统。本公开描述了一种AR系统的实施方案，其利用预先生成的世界的立体重建或3D模型来协助锚定并改善AR场景的渲染。通过利用世界的立体重建，AR系统的实施方案可以使用多种技术来增强系统的渲染能力。在实施方案中，AR系统可获取预先生成的3D数据(例如，3D图块)，该3D数据来自由随时间推移利用大量来源所采集的真实世界图像生成的世界的立体重建，并且可使用该预先生成的3D数据(例如，3D网格、纹理，和其他几何信息的组合)来确定有关场景的比能够从本地源获得的(例如，由车辆传感器所采集的点云数据)更多信息，AR渲染可得益于这些信息。

本公开描述了AR系统的实施方案，其可使用三维(3D)网格地图数据(例如，由空中摄影/街道摄影重建的3D图块)来增强或补充抬头显示器上的车辆传感器(例如，激光雷达或相机)信息。3D图块可用于弥补传感器的局限性(例如，被建筑物或地形所遮挡的或超出范围的真实环境的区域)以使AR扩展到车辆前方(即，驾驶员的视野内)的整个真实环境中。例如，可显示路线，包括路线中的被真实环境中的物体或地形所遮挡的部分。

实施方案可使3D元素投影到地形上而不必执行高度查询或参考由车载传感器采集的点云数据。可在增强现实场景中渲染超出车载传感器的功能/范围的元素。除了被环境中的遮挡物体阻挡之外，传感器还受到其他因素的限制，诸如车辆的距离和速度。预先生成的3D网格地图数据可以弥补这些限制，因为静态图像在无需扫描和参考点云的情况下是可用的。

在一些实施方案中，传感器数据可用于提供附近真实环境的AR内容，其中预先生成的3D网格地图数据用于提供针对真实环境中的远方物体和被遮挡部分的AR内容。

在一些实施方案中，预先生成的3D网格地图数据可用于加速对附近物体的点云数据的查询；基于3D网格地图数据进行更有限的查询是可能的。因此，可基于针对局部区域的3D网格地图数据来优化针对局部区域的点云查询。

在一些实施方案中，如果由于某种原因致使传感器数据不可用或缺少/范围有限(例如，传感器故障、传感器上存在污垢、雾、大雨、雪、昏暗/夜晚(对于相机信息)、在隧道或车库内部、被其他车辆所阻挡，等等)，预先生成的3D网格地图数据可能仍然可用并可用于填充丢失的AR内容以及更多远程内容。