[发明专利]一种基于事件相机的特征点跟踪方法

说明书

本发明公开了一种基于事件相机的特征点跟踪方法，目的是提高特征点跟踪精度。技术方案是构建由数据获取模块、初始化模块、事件集选取模块、匹配模块、特征点更新模块、模板边更新模块组成的基于事件相机的特征点跟踪系统。初始化模块从图像帧中提取特征点和边图；事件集选取模块在特征点周围从事件流中选取特征点的事件集S；匹配模块将S与特征点周围的模板边进行匹配，求出t_k时刻n个特征点的光流集合G_k，特征点更新模块根据G_k计算t_k+1时刻n个特征点的位置集合FD_k+1，模板边更新模块使用IMU数据对PBD_k中的位置进行更新，得到t_k+1时刻n个特征点对应的模板边的位置集合PBD_k+1。采用本发明既可提高事件流上跟踪特征点的精度，又可延长特征点平均跟踪时间。

技术领域

本发明涉及计算机图像处理领域，具体涉及运用事件相机完成对图像中特征点的跟踪。

背景技术

SLAM(全称同时定位与建图)作为机器人领域一个重要分支，近年来得到了大家的广泛研究。SLAM试图解决这样的问题：一个机器人在未知的环境中运动，如何通过对环境的观测确定自身的运动轨迹，同时构建出环境的地图。SLAM技术正是为了实现这个目标涉及到的诸多技术的总和。一个完整的SLAM系统主要包括前端视觉里程计部分和后端优化部分。视觉里程计部分估计机器人状态，估计方法主要分为两种方法：特征点法和直接法。特征点法是目前机器人状态估计的主流方法，即首先在图像中提取特征点，对不同帧之间的特征点进行匹配，进而对匹配的特征点对做相关操作，估算相机的位姿。常用的点特征包括Harris角点、SIFT、SURF、ORB、HOG特征。不同于特征点法，直接法可以省去提取特征点的过程，直接利用图像中的灰度信息来估计机器人状态，但该方法尚不成熟，鲁棒性较差。

然而，无论是特征点法或直接法，使用标准相机在应对极端环境时仍存在精度和鲁棒性的问题。极端情况主要包括两种：相机高速运动的情况，采用标准相机获取图像时，若相机移动过快，则获取到的图像会出现运动模糊现象；高动态范围场景的情况，场景中光强变化强烈，前后帧明暗变化明显。在这些极端情况下，使用标准相机会严重影响直接法和特征点法的算法效果。此外，标准相机无法提供帧与帧之间更精确的特征点运动轨迹。并且标准相机在静态场景中会产生冗余信息，这不仅导致存储资源的浪费，而且会在后续的图像处理过程中消耗大量额外的计算资源。