[发明专利]一种基于事件相机的异步目标跟踪方法

摘要

一种基于事件相机的异步目标跟踪方法，涉及计算机视觉技术。包含三个主要部分：开始的目标检测模块、目标跟踪模块和恢复跟踪模块；所述开始的目标检测模块用于提取ATSLTD帧上的目标建议窗口；所述目标跟踪模块根据最小化目标时空不一致信息原则选择最佳的目标建议窗口作为跟踪结果；所述恢复跟踪模块用于跟踪失败时恢复对目标的跟踪。该方法能够有效地应对目标跟踪中存在的目标快速运动和高动态范围场景等问题，取得了优于主流基于传统相机的目标跟踪算法的精度。

主权项

1.一种基于事件相机的异步目标跟踪方法，其特征在于包括以下步骤：1)给定事件相机拍摄的图像帧间由于目标运动所产生的异步视觉事件的集合，事件相机是一种模仿人类视网膜运作机制的仿生学视觉传感器，所述异步视觉事件属于开事件或闭事件的其中一种，其中开事件表示对应的像素坐标的像素值相较于前一时间点发生了指数程度的增长或变亮，闭事件则与开事件相反表示指数程度的下降或变暗，像素灰度变化由物体运动造成，所以异步视觉事件反映物体的运动信息，每个由事件相机捕捉的异步视觉事件表示为如下所示的四元组形式：其中，(u,v)表示异步视觉事件发生在图像平面上的二维坐标，p表示异步视觉事件e为开事件还是闭事件，对应设置为0或1，t表示异步视觉事件发生时微秒级别的时间戳，因为物体运动同时产生开事件和闭事件，开事件对应像素值低于背景部分，闭事件对应像素值高于背景部分，且开事件与闭事件之间不存在联系，所以将异步事件集合中的异步视觉事件根据开事件与闭事件的属性分别存储；2)对步骤1)中的异步视觉事件集合根据异步视觉事件的时空属性投影到一个与事件相机相同尺寸的图像平面上，其中开事件与闭事件分别投影到图像的两个通道中，形成异步视觉事件集合对应的自适应线性衰减时间平面帧表示；因为事件相机是以异步的形式记录异步视觉事件，即每个像素被相应的像素值指数级别变化单独触发，将异步视觉事件集合中所记录的异步视觉事件聚合，投影到图像平面，形成一种帧的形式；3)对步骤2)中的ATSLTD帧计算非零网格图像熵，并通过t分布计算NZGE值的置信区间用于控制将当前ATSLTD帧异步地加入ATSLTD帧序列中用于目标追踪；所生成的ATSLTD帧序列能够清晰地展现所跟踪目标的轮廓，便于目标跟踪方法的检测和跟踪；4)将步骤3)中的ATSLTD帧序列输入基于物体轮廓的目标检测模块，生成在当前ATSLTD帧对所跟踪目标的目标建议窗口集合；5)根据最小化目标时空不一致信息原则，从步骤4)所生成目标建议窗口集合中选取最佳的目标建议窗口作为跟踪结果；6)若步骤5)中跟踪结果与上一帧重叠率较低，则使用步骤2)中的异步视觉事件集合重建对应灰度图像，并根据灰度图像的帮助恢复对目标物体的精确跟踪。