[发明专利]基于事件对比度最大化的双目视觉里程计方法

说明书

本发明实施例是关于基于事件对比度最大化的双目视觉里程计方法，与传统的逐事件跟踪方法相比，提出了一种对比度最大化算法来解决事件和图像的数据关联，大大提高了事件流的计算速度；由于对比度最大化算法高度依赖于场景的深度，因此提出了一种鲁棒的Beta‑Gaussian分布深度滤波器，以获得比仅使用三角测量的深度估计更准确的线段模板深度；应用于公共事件相机数据集的评估实验，与ORB的视觉里程计算法相比，所提出的算法可以实现更好的性能并获得更低延迟的相机轨迹。

技术领域

本发明涉及机器人视觉技术领域，具体涉及基于事件对比度最大化的双目视觉里程计方法。

背景技术

VO(Visual Odometry，视觉里程计)是VSLAM(Visual SLAM，视觉SLAM)系统中最核心的部分，它是通过相机在运动过程中拍摄的一系列连续的图像来解算出相机的位姿和运动轨迹。然而，只依赖于标准相机的VO仍存在着许多问题。例如：在纹理少的区域，特征点数量不足，VO无法工作；因为对于具有高动态范围或高速运动的物体，基于帧的相机无法获得清晰的图像，视觉前端提取特征点困难；在动态场景中，移动的物体和行人会导致特征点匹配错误；因此，在这种情况下，基于帧的相机很难实现特征跟踪和相机位姿估计。

此外，基于帧的相机在静态场景中捕获冗余信息，这不仅会造成存储资源的浪费，而且在处理过程中也会消耗大量额外的计算资源。仿生事件相机，例如动态视觉传感器(DVS)，克服了基于帧的相机的上述限制。作为一种新型的生物启发式视觉传感器，事件相机具有与传统相机完全不同的模式，事件相机仅输出依赖像素亮度的变化。当每个像素的强度变化达到一定阈值时，将触发事件，事件携带像素坐标、时间戳和极性等信息。而IMU(Inertial Measurement Unit，惯性测量单元)则可以很好地捕捉高速运动时相机在三个坐标轴上的加速度和旋转信息，辅助相机的定位；同时，相机的位姿信息也有助于减少IMU漂移的影响；此外，IMU具有集成度高和轻巧、耐用、低价的优势。因此，将相机信息和IMU信息融合起来，构成VIO(Visual-Inertial Odometry，视觉-惯性里程计)，可以使二者的优缺点互补，提高了系统的精准度和可靠性。同时，融合相机与IMU信息的VIO也极大地促进了VISLAM(Visual-Inertial SLAM)在救援机器人、AR/VR快速3D重建、自动驾驶等方面的应用。

目前，主流的VIO框架都是基于单目相机和IMU的融合，但受限于单目相机的尺度不确定性，该算法在恒定加速度运动条件下会失效，导致视觉-惯性里程计的精度和鲁棒性较差。此外，虽然单目相机位姿的绝对尺度可通过与IMU信息对齐来获取，但IMU通常会受到噪声的干扰，且地面机器人采用的往往是廉价的IMU，对齐的结果较差且不够稳定。

发明内容

本发明实施例的目的在于提供了基于事件对比度最大化的双目视觉里程计方法，解决了单目基于帧的相机与IMU结合的情况下不能稳定运行的问题。

本发明的技术方案如下：

为实现上述目的，本发明提供一种基于事件对比度最大化的双目视觉里程计方法，包括以下步骤：

基于事件对比度最大化的双目视觉里程计方法，包括：

S1：对来自标准相机的图片进行预处理，建立事件对比度最大化的双目视觉里程计模型；

S2：对来自事件相机的事件流和图片进行时间戳上的同步，根据事件的对应周期选择时空窗口；

S3：对每一个时空窗口中的事件进行对比度最大化，并求模板对应事件之间的光流；

S4：利用IMU数据和计算出的光流去校正和更新模板边的位置；

S5：利用Beta-Gaussian的滤波器对模板边的深度进行估计，并得到3D空间中的模板边的位置；

S6：通过ICP位姿求解算法去估计事件相机的运动轨迹。