[发明专利]地址事件驱动非结构化信号的实时目标跟踪方法

说明书

本发明公开了一种地址事件驱动非结构化信号的实时目标跟踪方法，具体实现步骤如下：(1)读取数据包并进行预处理；(2)构造平面矩阵；(3)计算每个地址事件对应位置处的膜电压；(4)判断有效事件点；(5)构建局部时空平面；(6)估计当前地址事件的运动矢量；(7)判断当前地址事件的时间戳是否在时间间隔内；(8)修正运动矢量；(9)确定当前地址事件序列内目标的位置。本发明通过估计每一个读入地址事件的运动矢量，修正运动矢量，恢复出物体的运动信息和空间结构，在减少计算量、提升速度的同时，提高了目标跟踪的准确率和稳定度。

技术领域

本发明属于物理技术领域，更进一步涉及视觉信号处理技术领域中的一种地址事件驱动非结构化信号的实时目标跟踪方法。本发明可用在智能交通、人机交互、视频监控、机器人导航、虚拟现实等技术领域中，对三维空间中的运动目标进行检测与跟踪。

背景技术

运动目标跟踪是机器视觉研究的关键问题之一，主要任务是估计视频中目标的轨迹，即从传统图像传感器采集视频图像序列，检测出待跟踪的运动目标，进而在每一帧图像中确定出运动目标的位置，但是传统图像传感器无法采集到如导弹、飞机等快速运动的目标，并且大量的冗余数据带来了巨大的运算压力，导致内存、GPU等需求上涨，系统效能不堪重负。近年来一种新型的仿生传感器AER(Address Event Representation sensor)，采用与传统的数字信息处理器完全不同的神经形态计算架构和原理来达到低响应延迟，高动态范围和低功耗等优势引起了国内外学者的广泛关注。传统图像传感器记录的是阵列中像素点在曝光时间内的总亮度值，而AER则观察每个像素点的光强是否随时间有细微的变化，通过这种完全不同于传统图像传感器“所有像素一起记录数据”的工作方式，AER有效过滤冗余的背景数据，从而成千倍的节省运算数据流，降低系统成本，使实时处理的难度大大降低。

南京理工大学在其申请的专利文献“一种运动目标检测和跟踪方法”(专利申请号201810771892.3，申请公开号CN109102523A)中公开了一种运动目标检测和跟踪方法。该方法从视频序列中获取图像，再利用三帧差分法得到运动目标区域，接着使用卡尔曼滤波算法对质心位置进行预测，将预测值与Camshift算法跟踪得到的位置对比，确定下一帧搜索窗口的大小和位置。该方法存在的不足之处是，由于Camshift算法使用的搜索窗口中包含多个特征相似候选模型，Camshift算法无法辨别是否出现同色干扰，导致跟踪精度低。另一方面，该跟踪方法是基于图像帧的处理，当目标快速运动时，丢失帧间信息，导致目标跟踪不连续，容易丢失跟踪的运动目标。

Litzenberger等人在其发表的论文“Event-based Moving Object Detectionand Tracking”(IEEE/RSJ Int.Conf.Intelligent Robots and Systems(IROS),2018.)中公开了一种事件流映射平面的方式进行目标跟踪方法。该方法利用事件流在每一时刻的时间分量和空间分量信息，将三维事件流通过一种参数模型来近似，即构建一个映射矩阵将AER输出的事件流投影在平面上，接着使用卡尔曼滤波算法对当前映射平面中运动目标的大小和位置进行预测。该方法存在的不足之处是，构造映射矩阵需要的超参数多，无法适应任意实际场景中的目标跟踪，泛化性低。另一方面是卡尔曼滤波通过模型的输入输出观测数据，结合实际的运动参数不断修正运动状态的估计值，内存消耗大，无法实时跟踪。

发明内容

本发明目的在于针对上述已有技术中存在的不足，提出一种地址事件驱动非结构化信号的实时目标跟踪方法，在减少计算量、提升速度的同时也提高了准确率和稳定度，能够在多种AER版本拍摄的场景中进行单目标或多目标实时跟踪。

实现本发明目的的具体思路是，对输入的地址事件构造平面矩阵，若地址事件是有效事件，则从平面矩阵中构建局部平面，估计当前地址事件的运动矢量，并修正运动矢量，从而实现稳定准确的跟踪。

为实现上述目的，本发明的具体步骤如下：

(1)读取数据包并进行预处理：