[发明专利]基于事件相机与深度相机的视觉里程计定位方法及系统

权利要求书

1.一种基于事件相机与深度相机的视觉里程计定位方法，其特征在于，包括：

获取由经过标定内外参数的深度相机以及事件相机同步实时采集的深度图以及事件；

积累毫秒级局部时间内的事件流，并将所述事件流中的各事件沿时间维度投影至虚拟的二维图像上，以生成当前时刻的时间表面图；

将生成的当前时刻的时间表面图与构建的最近关键帧的局部地图进行3D-2D配准，获得当前时刻相机相对于最近关键帧的相对位姿；

根据当前时刻相机相对于最近关键帧的相对位姿以及最近关键帧的绝对位姿，获得相机当前时刻的全局位姿；

若所述相对位姿大于设定阈值时，则构建新的最近关键帧的局部地图，用于与新的最近关键帧时刻的下一时刻生成的时间表面图进行3D-2D配准，以获得新的最近关键帧时刻的下一时刻相机相对于新的最近关键帧的相对位姿；

若所述相对位姿不大于设定阈值时，则继续采用该最近关键帧的局部地图与下一时刻生成的时间表面图进行3D-2D配准，以获得下一时刻相机相对于该最近关键帧的相对位姿；

其中，所述最近关键帧的局部地图的构建方式包括：将所述深度相机在关键帧时刻采集的深度图投影至事件相机平面，并与生成的关键帧时刻的时间表面图相结合，获得最近关键帧的局部地图。

2.根据权利要求1中所述的基于事件相机与深度相机的视觉里程计定位方法，其特征在于，所述积累毫秒级局部时间内的事件流，并将所述事件流中的各事件沿时间维度投影至虚拟的二维图像上，以生成当前时刻的时间表面图的方式包括：

积累毫秒级局部时间内的事件流，并将所述事件流中的各事件沿时间维度投影至虚拟的二维图像上；

将所述二维图像上的像素点位置的值高于设定阈值的像素点进行可视化，以生成当前时刻的时间表面图。

3.根据权利要求2中所述的基于事件相机与深度相机的视觉里程计定位方法，其特征在于，所述将所述深度相机在关键帧时刻采集的深度图投影至事件相机平面，并与生成的关键帧时刻的时间表面图相结合，获得最近关键帧的局部地图的方式包括：

将与所述事件相机同步的深度相机在关键帧时刻采集的深度图根据所述深度相机以及事件相机之间固定外参数投影至事件相机平面，并基于关键帧时刻的时间表面图，筛选多个像素点，以生成最近关键帧的半稠密边缘轮廓深度图；

将所述半稠密边缘轮廓深度图中的各像素点归一化，并基于各像素点所对应的深度值，获得三维点云集合形式的最近关键帧的局部地图。

4.根据权利要求3中所述的基于事件相机与深度相机的视觉里程计定位方法，其特征在于，所述将与所述事件相机同步的深度相机在关键帧时刻采集的深度图投影至事件相机平面，并基于关键帧时刻的时间表面图，筛选多个像素点，以生成最近关键帧的半稠密边缘轮廓深度图的方式包括：

基于所述深度相机在关键帧时刻采集的深度图的各像素点的深度值，获得投影至事件相机平面上每个像素点所分别对应的一或多个深度值；

基于投影的事件相机平面上各像素点所分别对应的各深度值，筛选关键帧时刻的时间表面图上的多个像素点，以生成半稠密边缘轮廓深度图；其中，所述半稠密边缘轮廓深度图中各像素点对应有一深度值。

5.根据权利要求4中所述的基于事件相机与深度相机的视觉里程计定位方法，其特征在于，所述基于投影的事件相机平面上各像素点所分别对应的各深度值，筛选关键帧时刻的时间表面图上的多个像素点，以生成半稠密边缘轮廓深度图的方式包括：

基于投影的事件相机平面上各像素点所分别对应的各深度值，筛选所述时间表面图上的具有深度值的多个像素点；

将筛选的各像素点所对应的各深度值进行前景点识别，以分别选择一深度值作为筛选的各像素点的深度值，并生成半稠密边缘轮廓深度图。