[发明专利]基于事件相机与深度相机的视觉里程计定位方法及系统

说明书

本发明的基于事件相机与深度相机的视觉里程计定位方法及系统，将事件相机与深度相机结合，利用事件相机替代一般RGB‑D系统中的常规相机，通过由事件相机采集的事件流生成时间表面图，并将关键帧时刻采集的深度图投影至事件相机平面，与生成的关键帧时刻的时间表面图相结合，获得的最近关键帧的局部地图，再将新生成的时间表面图与最近关键帧的局部地图配准，获得当前时刻相机相对于最近关键帧的相对位姿以及全局位姿；再根据相对位姿的值判断是否需要构建新的最近关键帧的局部地图或者继续利用当前的最近关键帧的局部地图进行配准；本发明不仅具有定位精度高，算法效率高，可实时处理的优点，并且可以在挑战性的光照条件下正常工作。

技术领域

本申请涉及计算机视觉技术领域，尤其涉及基于事件相机与深度相机的视觉里程计定位方法及系统。

背景技术

近年来，机器人、无人机、自动驾驶、VR/AR等产品和技术持续火爆，逐步渗透社会生活的各个领域，并对经济和社会发展产生重要影响。基于SLAM技术的即时定位与追踪能力是上述智能移动设备感知与认知周边环境所必须的关键技术，其重要的学术和应用价值始终受到学术和产业界的高度重视。

自上世纪80年代SLAM概念的提出至今。SLAM系统使用的传感器不断拓展，由早期的声呐，到后来的2D/3D激光雷达，及单目、双目、RGB-D等各种相机，SLAM系统一直在综合各种需求不断演进。尽管基于激光雷达的定位技术在无人驾驶行业中已得到广泛应用，但是视觉相机凭借便宜、轻便和低功耗的特点及获取信息丰富、特征区分度高的优势，使得视觉SLAM在VR/AR、无人机、室内机器人等小型移动终端上有着其他技术无法替代的优越性。但视觉SLAM也存在诸多不足：如高机动运动场景采集的图像产生运动模糊，固定帧率相机采集的数据存在时延，常规相机尚不具备高动态光照环境适应能力等。因此现有解决方案通常将常规相机与其他传感器相融合，例如惯性测量单元，深度传感器，激光雷达等。

值得注意的是，自2010年消费级RGB-D相机问世以来，深度相机与常规相机的组合在室内场景的应用中非常流行。尽管RGB-D相机组合可以提供高频率，高分辨率的深度图像，显著提高了单目视觉里程计和SLAM方法的准确性和鲁棒性，但仍然存在以下缺点：

1.大多数RGB-D相机解决方案依赖于基于清晰图像的稀疏特征提取或强度图像边缘对齐，尽管它们具有较好的算法收敛性，在光照条件良好时候具有较好的稳定性和较高的计算效率，但由于高度依赖于清晰图像也导致了这些解决方案依旧无法在高动态运动或低光照条件等挑战性场景进行精准、稳定的定位。

2.虽然部分方法仅使用深度图像而无需依赖清晰的RGB图像，因此可以在低光照条件下运行，但是这些方法需要连续的高帧率深度图像，耗电量较大，并且它们通常算法复杂度高，对计算资源要求很高，通常需要GPU资源才能实现实时定位建图功能。

近年来，一种名为事件相机的新型动态视觉传感器逐渐进入人们的视线。与基于帧的传统相机不同，事件相机对像素进行独立异步处理，当一个像素的亮度变化累计达到阈值即输出一个事件，并以脉冲形式异步返回。事件相机具有低延迟(1us)、高动态范围(140dB)、低功耗(mW级)的优势，其异步特性和高时间分辨率意味着触发的事件模式不容易受到运动模糊之类的伪影的影响。此外，事件相机适用于非常高的动态范围，使其具有强大的潜力来应对复杂的照明场景。但是，由于事件数据不包含绝对强度信息且高度异步，因此处理事件数据需要从计算机视觉基础理论入手，构造全新的数学模型和算法。现有基于事件相机的视觉里程计和视觉SLAM研究成果仍处于早期阶段，主要有以下几种：将事件相机和传统相机结合，从常规相机图像中检测稀疏特征点利用事件数据追踪特征并估计相机运动位姿；将惯性测量单元(IMU)与事件相机和常规相机相结合，为事件流提供初始运动参数并用事件流进行运动补偿，依此生成轮廓清晰的事件图进而提取特征点并估计相机运动位姿；将两个有共同视域的事件相机组成双目相机，利用立体视觉几何约束和左右相机的事件流估计当前场景的深度信息，并通过交替定位和建图的方式实现视觉里程计功能。但上述方法具有诸多缺点：