[发明专利]用于时间对齐标定、事件标注、数据库生成的方法及装置

说明书

提供一种用于时间对齐标定、事件标注、数据库生成的方法及装置。所述时间对齐标定方法包括：(A)获取同时由动态视觉传感器拍摄的目标对象的事件流和由辅助视觉传感器拍摄的目标对象的视频图像；(B)从所述视频图像中确定表现目标对象显著运动的关键帧；(C)将关键帧中目标对象的有效像素位置和关键帧的邻近帧中目标对象的有效像素位置分别映射到动态视觉传感器的成像平面上，以形成多个目标对象模板；(D)从所述多个目标对象模板中确定覆盖第一事件流段中的事件最多的第一目标对象模板；(E)将第一事件流段的中间时刻与第一目标对象模板所对应的帧的时间戳的时间对齐关系，作为动态视觉传感器与辅助视觉传感器之间的时间对齐关系。

技术领域

本发明总体说来涉及动态视觉传感器(Dynamic vision sensor，DVS)领域，更具体地讲，涉及一种时间对齐标定方法及装置、一种事件标注方法及装置、一种数据库生成方法及装置。

背景技术

和传统的基于帧的视觉传感器不同，DVS是一种时域上连续成像的视觉传感器，其时间分辨率能够达到1us。DVS的输出是一系列事件(event)，包括事件在成像平面上的水平坐标、垂直坐标、极性(polarity)和时间戳(timestamp)。同时DVS是一种差分成像传感器，仅对光线变化有响应，因此，其能耗相对于普通视觉传感器要低，同时其光照敏感度相对于普通视觉传感器要高。基于上述特点，DVS可以解决传统视觉传感器不能解决的问题，也带来新的挑战。

不同的视觉传感器之间存在相对位置和相对时间的偏差，这种偏差会破坏多视觉传感器时空一致性的假设。所以多视觉传感器间的时空标定是分析和融合不同视觉传感器的信号的基础。

发明内容

本发明的示例性实施例在于提供一种用于时间对齐标定、事件标注、数据库生成的方法及装置，其能够实现动态视觉传感器与基于图像帧的视觉传感器之间的时间对齐标定、实现对动态视觉传感器输出的事件流中的事件进行标注、生成面向动态视觉传感器的数据库。

根据本发明的示例性实施例，提供一种时间对齐标定方法，包括：(A)获取同时由动态视觉传感器(Dynamic vision sensor)拍摄的目标对象的事件流和由辅助视觉传感器拍摄的目标对象的视频图像；(B)从所述视频图像中确定表现目标对象显著运动的关键帧；(C)按照动态视觉传感器与辅助视觉传感器之间的空间相对关系，将关键帧中目标对象的有效像素位置和关键帧的邻近帧中目标对象的有效像素位置分别映射到动态视觉传感器的成像平面上，以形成多个目标对象模板；(D)从所述多个目标对象模板中确定覆盖第一事件流段中的事件最多的第一目标对象模板，其中，第一事件流段是沿时间轴截取的所述事件流之中处于关键帧的时间戳附近的预定时间长度的事件流段；(E)将第一事件流段的中间时刻与第一目标对象模板所对应的帧的时间戳的时间对齐关系，作为动态视觉传感器与辅助视觉传感器之间的时间对齐关系。

可选地，所述时间对齐标定方法还包括：(F)在确定第一目标对象模板之后，预测辅助视觉传感器在与第一目标对象模板所对应的帧的时间戳邻近的时间点时，所生成的各个帧中目标对象的有效像素位置按照动态视觉传感器与辅助视觉传感器之间的空间相对关系被分别映射到动态视觉传感器的成像平面上而形成的各个目标对象模板，从所述各个目标对象模板和第一目标对象模板中确定覆盖第一事件流段中的事件最多的第二目标对象模板，并使用确定的第二目标对象模板更新第一目标对象模板，或者，(G)在确定第一目标对象模板之后，从与第一事件流段邻近的预定时间长度的多个事件流段以及第一事件流段中确定，被第一目标对象模板所覆盖的事件最多的第二事件流段，并使用确定的第二事件流段更新第一事件流段。

可选地，与第一目标对象模板所对应的帧的时间戳邻近的时间点包括：第一目标对象模板所对应的帧的时间戳及上一帧的时间戳之间相隔预定时间间隔的各时间点，和/或第一目标对象模板所对应的帧的时间戳及下一帧的时间戳之间相隔预定时间间隔的各时间点。

可选地，在步骤(F)中，利用时域meanshift算法，基于第一目标对象模板和第一事件流段来确定第二目标对象模板。