[发明专利]使用距离传感器多次扫描和来自连续图像帧的多视图几何结构的密集映射

说明书

在一些示例中，系统包括距离传感器，该距离传感器被配置为接收从环境中的对象反射的信号并且在不同时间生成环境的两个或更多个连续扫描。该系统还包括相机，该相机被配置为捕获环境的两个或更多个连续相机图像，其中环境的两个或更多个连续相机图像中的每一个由相机在环境内的不同位置处捕获。该系统还包括处理电路，该处理电路被配置为基于两个或更多个连续扫描以及两个或更多个连续相机图像来生成环境的三维地图。

技术领域

本公开涉及三维映射。

背景技术

户外三维重建可用于许多应用，诸如自主导航、飞行器的定位、映射、障碍物避免和许多其他应用。然而，由于三维地图的大比例、地图中的未成形特征以及不良的照明条件，三维重建可能是具有挑战性的。创建具有高质量结果的全自动和实时建模过程带来了困难，因为采集、存储和匹配数据的过程在存储器和时间方面都是昂贵的。

用于三维重建的基于视觉的方法具有相对低的成本和高的空间分辨率。然而，用于场景重建的基于视觉的同时定位和映射(vSLAM)解决方案遭受比例因子累积漂移和回路闭合问题。由于图像质量差，vSLAM过程的输出可能不准确，这可能是由外部因素引起的，诸如照明不良、纹理缺乏、遮挡或移动对象。

基于毫米波(MMW)雷达的解决方案提供了与照明和天气条件无关的更高可靠性的优点。然而，MMW雷达无法识别目标的高度、形状和尺寸。此外，MMW雷达的深度输出非常稀疏。

基于激光雷达的解决方案为场景重建提供大量准确的三维点。然而，大量数据的对准需要大量处理算法，这可为占用大量内存并且耗时的。使用基于点云的方法重建的场景通常具有非结构化表示，并且不能直接表示为连接表面。与雷达相比，激光雷达通常更昂贵并且受到外部照明和天气条件(例如，雨滴、粉尘颗粒和极端阳光)的影响，这可导致噪声测量。

发明内容

一般来讲，本公开涉及用于使用由距离传感器执行的连续扫描和由相机捕获的连续图像来生成环境的三维地图的系统、设备和技术。系统可基于对对象在环境中的深度的估计来生成环境的密集三维地图。该系统可以融合距离传感器扫描和相机图像以生成三维地图，并且可以基于新采集的扫描和相机图像连续地更新三维地图。

在一些示例中，系统包括距离传感器，该距离传感器被配置为接收从环境中的对象反射的信号并且在不同时间生成环境的两个或更多个连续扫描。该系统还包括相机，该相机被配置为捕获环境的两个或更多个连续相机图像，其中环境的两个或更多个连续相机图像中的每一个由相机在环境内的不同位置处捕获。该系统还包括处理电路，该处理电路被配置为基于两个或更多个连续扫描以及两个或更多个连续相机图像来生成环境的三维地图。

在一些示例中，一种方法包括由处理电路从距离传感器接收由距离传感器在不同时间执行的环境的两个或更多个连续扫描，其中两个或更多个连续扫描表示从环境中的对象反射的信号导出的信息。该方法还包括由处理电路接收由相机捕获的环境的两个或更多个连续相机图像，其中对象的两个或更多个连续相机图像中的每一个由相机在环境内的不同位置处捕获。该方法还包括由处理电路基于两个或更多个连续扫描以及两个或更多个连续相机图像来生成环境的三维地图。

在一些示例中，设备包括计算机可读介质，该计算机可读介质具有存储在其上的可执行指令，该可执行指令被配置为可由处理电路执行以使处理电路从距离传感器接收：由距离传感器在不同时间执行的环境的两个或更多个连续扫描，其中两个或更多个连续扫描表示从环境中的对象反射的信号导出的信息。该设备还包括用于使得处理电路从相机接收环境的两个或更多个连续相机图像的指令，其中两个或更多个连续相机图像中的每一个由相机在环境内的不同位置处捕获。该设备还包括用于使得处理电路基于两个或更多个连续扫描和两个或更多个连续相机图像来生成环境的三维地图的指令。

本公开的一个或多个示例的细节在以下附图和说明书中阐述。其他特征、目的和优点将从描述、附图以及权利要求书中显而易见。

附图说明