[发明专利]使用双事件相机的同时定位与地图创建（SLAM）

说明书

用于同时定位与地图创建(SLAM)的方法采用双基于事件的相机。来自相机的事件流由图像处理系统处理以立体检测环境中的表面点，动态地计算相机移动时的姿态，并同时更新环境的地图。基于梯度下降的优化可用于针对每事件或每小批量事件更新姿态。

技术领域

本公开一般涉及计算机视觉以及同时定位与地图创建(simultaneouslocalization and mapping，SLAM)。

背景技术

SLAM是用于对感测的环境进行同时地图创建和计算设备相对于地图创建的环境的位置的技术。该设备可以是可能没有先进的环境知识的、配备相机的移动设备，诸如机器人、无人机、手持智能电话、自主车辆等。被称为并行跟踪和地图创建(Parallel Trackingand Mapping，PTAM)的SLAM的子集采用用于跟踪设备的位置和地图创建的并行处理线程。一个线程通过检测和维持通过相机可见的一组显著视觉地标来对环境进行地图创建。另一线程，即，姿态(pose)跟踪线程，频繁地更新相机相对于可见地标的位置。

发明内容

根据本发明概念，SLAM方法采用双事件相机。该相机与图像处理系统结合使用，以立体地检测环境中的表面点、动态地计算相机移动时的姿态并同时地更新环境地图。

在说明性实施例中，SLAM方法包括分别从第一和第二图像传感器接收表示环境中的表面点的异步事件的第一事件流和第二事件流。该第一和第二图像传感器布置有重叠的视场，以使点的极线(epipolar)能深度测量。随着相机移动，动态地计算至少第一图像传感器相对于环境中的参考元素的姿态；并且同时地，至少基于由第一事件流表示的点及其计算的深度，动态更新环境地图。

基于梯度下降的优化可用于针对每个事件或针对每个小批量事件更新姿态。

在实施例中，SLAM系统可以包括：第一图像传感器，提供表示环境中的表面点的异步事件的第一事件流；第二图像传感器，被布置成具有与第一图像传感器的视场重叠的视场，并提供表示环境中的表面点的异步事件的第二事件流；和图像处理系统，包括至少一个处理器。该至少一个处理器可以运行从存储器读取的指令，以：基于由第一和第二事件流表示的匹配特征的公共点，立体地计算来自第一和第二图像传感器的深度；以及至少基于由第一事件流表示的匹配特征点及其计算的深度，动态地计算至少第一图像传感器相对于环境中的参考元素的姿态，并更新环境的地图。

各种实施例可以表现出优于常规SLAM系统的优点，诸如减少的功耗、减少的延迟、减少的抖动以及对高速运动的稳健性(robustness)。

附图说明

结合附图，从以下详细描述中，本发明概念的上述和其他方面和特征将变得更加明显，在附图中，相同的附图标记表示相同的元件或特征，其中：

图1示意性地示出了其中配备相机的设备可以根据本发明概念执行SLAM的环境；

图2A示出了与图1的环境中的参考地标相关的双基于事件的相机；

图2B示出了根据本发明概念的更新初始姿态和初始地图的方法的概念；

图2C示出了利用第一和第二事件相机的物体的角特征的标识；

图2D示出了在优化过程之前测量的特征点的帧位置相对于估计的帧位置的比较；

图2E示出了优化过程之后图2D的帧位置比较；

图3A示出了与使用常规摄像机创建的帧相比、使用事件相机创建的事件帧；

图3B示出了从基于事件的图像传感器输出的事件分组的示例结构；

图4描绘了与常规静止帧相比的示例事件帧；

图5A是根据本发明概念的用于SLAM的示例方法的流程图；