[发明专利]基于事件相机的跟踪方法

说明书

基于事件相机的跟踪方法，涉及图像跟踪技术领域，解决现有图像的目标跟踪方法存在对高速运动目标成像时会产生运动模糊现象，方法计算过程中存在数据冗余以及传感器分辨率低，事件流输出速率低等问题，本发明首先对原始事件流进行降噪，去掉影响目标检测的噪点，然后将事件流以固定时间切片，之后将目标的事件簇提取，获取目标位置和时间等信息；最后对新获得目标与跟踪器中的目标进行匹配，获取目标的新位置，完成目标轨迹的跟踪。本发明对一个时间段内的事件进行批量处理，获得事件簇的位置并标注标签，再进行下一时间段内的目标位置检测，这样的方法更是适配扫面式读出的事件流数据。

技术领域

本发明涉及图像跟踪技术领域，具体涉及一种基于事件相机的跟踪方法。

背景技术

基于传统面阵图像传感器早期的目标检测方法通过全局搜索已有的目标模型进行目标定位，但是该方法计算量大。为了降低计算量，可以在定位前进行目标位置预测，减少搜索范围，如卡尔曼滤波、粒子滤波、均值转移等方法。这类方法利用单一数学模型确定目标位置，且只利用了目标的特征信息，并未使用图像中的背景信息，具有一定局限性。当目标发生旋转形变、光照变化、运动模糊时，会影响位置的搜索结果。近年来随着计算机技术的飞速发展，如支持向量机、随机森林、深度卷积神经网络等机器学习和深度学习的方法被成功运用到目标检测、跟踪与分类等机器视觉任务中，并获得了很高的精度；此外，相关滤波方法也在目标跟踪问题上得到应用，该方法相较深度学习算法能具有更快的计算速度。

动态视觉传感器具有动态范围高、响应速度快等优势，能够有效避免极端场景下的过曝和运动模糊，能够在更广泛的场景中观测高速运动的物体。由于动态视觉传感器的独特优势，它已经被研究人员用于跟踪领域。但是动态视觉传感器与传统图像传感器的输出数据不同，它输出的数据是事件流而不是图像帧。并且数据形式和传统图像的矩阵形式也有不同，所以传统的目标跟踪方法并不能直接在事件流的目标跟踪任务中使用。所以需要一种针对事件流的目标跟踪方法。

针对上述需求，目前，国内外也有很多相关的解决方案，现有的基于动态视觉传感器目标跟踪方法大部分是使用对事件聚类来提取目标位置信息，簇的判定依靠判断事件间的距离还有距离较近的事件个数来判断的，事件距离小于某一阈值，事件个数多于某一阈值，即定义为目标。

在文献《使用异步瞬态视觉传感器进行实时目标跟踪的嵌入式视觉系统》中提出了一种受传统均值转移方法所启发的基于簇的方法已用于追踪机器足球守门员运动的手臂。其他用基于簇的方法对动目标进行追踪的工作在论文《基于事件的3D视觉实时运动分析的时空聚类方法》上有所体现。

上述两方法相比在事件分配给集群的方式上有所不同。新产生事件的分配取决于事件与集群之间的在空间和时间上的3D曼哈顿距离。与传统的欧式距离相比，这种聚类方法对噪声有抑制作用。由于内存占用低所以基于簇的方法适合用于嵌入式视觉系统，但簇的大小需要根据具体目标来调整，因此以上方法只适用于具体场景。

基于高斯混合模型对事件进行聚类的方法就应运而生。《基于动态视觉传感器的多人时空追踪》提出K高斯聚类方法，事件由高斯聚类建模。后来，文献《用于高速视觉特征跟踪的基于同步事件的多核算法》对该方法进行了改进，其中事件的空间分布用双变量高斯来建模。这也是从均值算法中获得的灵感。对事件流中的事件判定其归属于哪一个簇，以此来对簇进行更新。

文献《使用动态视觉传感器进行高速目标跟踪》提出位置事件相关性检测算法，该方法将事件流按照时空分割成32或64块，分别进行位置事件相关性检测提取其中的事件簇，然后，将新发现的目标与已有目标进行匹配。但是当目标几何尺寸较大且在空间的交界线上时，一个目标会被错误分成多个，影响跟踪效果。

现有通过事件流获取目标位置有多种方法：如可以逐个事件地进行，通过欧氏距离对新到达事件进行分配簇，用于对车辆的跟踪；或者采用基于霍夫变换的方法跟踪线条；或者采用一种空间、时间和速度方向受限的数据关联方法来实现角点事件跟踪；或者采用动态和主动像素视觉传感器观察物体接触区域来检测初始滑移、滑移和振动；此外还有迭代最近点法、粒子滤波等方法。