[发明专利]一种基于运动模型的事件相机运动补偿方法及装置

说明书

本发明公开了一种基于运动模型的事件相机运动补偿方法及装置，按照预先设置的时间窗依次读取事件相机输出的事件序列，将时间窗内的事件序列转换为平均时间面，并获取平均时间面的质心，采用索贝尔算子对平均时间面进行卷积操作，计算得到平均时间面的水平和垂直梯度，采用梯度下降法更新运动模型的参数，采用更新后运动模型的参数，对事件位置进行更新。本发明通过建立运动模型对事件位置进行更新，来达到运动补偿的效果，能够有效对事件累加造成的高速运动目标的运动模糊进行运动补偿。

技术领域

本申请属于目标检测与跟踪技术领域，尤其涉及一种基于运动模型的事件相机运动补偿方法及装置。

背景技术

普通相机在拍摄图像时，表现出的是曝光时间内的场景。当场景中的物体运动时，该场景的图像会表现出物体在曝光时间内所有位置的组合，因受普通相机帧率的限制，高速运动的物体会出现模糊现象，称为运动模糊。运动模糊是景物图像中的移动效果，它比较明显地出现在长时间曝光或场景内的目标高速移动的情形里。在目标检测过程中，运动模糊会混淆目标的确切位置。

传统基于帧的相机有信息冗余、高速模糊、动态范围低等限制条件。因此为了获得更高的灵敏度，需要更快的传感器和更低延迟的处理时间，事件相机作为一个有希望的解决方案，有望克服基于传统相机框架中的一些问题。其通过模仿视网膜来感测和编码世界，并将之作为神经信号来获取视觉信息。事件相机没有曝光和帧率的概念，没有闲置的时间，每一个像素点都能进行独立的运算，在且仅在这个像素点发生光强变化时进行数据的读出。事件相机根据光强变化输出一系列的异步事件流，其中每一事件包含像素坐标、时间以及极性信息(+1表示亮度增强，-1表示亮度减小)。

事件相机虽然没有帧率的概念，它输出时间和空间上的连续事件，但将其应用于传统技术的过程中，需要先将一段时间或者一定数量的事件累加成类似图像帧的时间面。因此，在场景变化较快的情况下，由于过多数量事件的压缩，导致生成的时间面会有一定的模糊，影响目标的特征及对目标位置的判断，进而影响目标跟踪、避障等。具体表现为时间面中的目标边缘有拖尾，这为之后的特征提取，位置检测造成一定的困扰。

发明内容

本申请的目的是提供一种基于运动模型的事件相机运动补偿方法及装置，基于运动模型对事件累加造成的高速运动目标的运动模糊进行运动补偿，协助目标检测算法准确定位目标的位置，进而提高目标跟踪、避障的准确率。

为了实现上述目的，本申请技术方案如下：

一种基于运动模型的事件相机运动补偿方法，用于对事件累加造成的高速运动目标的运动模糊进行运动补偿，包括：

步骤1、初始化运动模型参数和学习率，按照预先设置的时间窗读取事件相机输出的事件序列；

步骤2、将时间窗内的事件序列转换为平均时间面，并获取平均时间面的质心；

步骤3、采用索贝尔算子对平均时间面进行卷积操作，计算得到平均时间面的水平和垂直梯度，采用梯度下降法更新运动模型的参数；

步骤4、采用更新后运动模型的参数，对事件位置进行更新；

步骤5、判断是否达到迭代终止条件，如果达到，则结束当前时间窗的运动补偿，否则返回到步骤2进行下一次的迭代。

进一步的，所述采用更新后运动模型的参数，对事件位置进行更新，包括：

采用如下公式对事件位置进行更新：

其中，(x，y)为更新前的事件位置，(x′，y′)为更新后的事件位置，(mx，my)为平均时间面的质心，t₀为时间窗内的初始时间，t为当前事件的时间，h_x，h_y，h_z，θ为运动模型(h_x，h_y，h_z，θ)的参数。