[发明专利]用于时间对齐标定、事件标注、数据库生成的方法及装置

权利要求书

1.一种时间对齐标定方法，包括：

(A)获取同时由动态视觉传感器(Dynamic vision sensor)拍摄的目标对象的事件流和由辅助视觉传感器拍摄的目标对象的视频图像；

(B)从所述视频图像中确定表现目标对象显著运动的关键帧；

(C)按照动态视觉传感器与辅助视觉传感器之间的空间相对关系，将关键帧中目标对象的有效像素位置和关键帧的邻近帧中目标对象的有效像素位置分别映射到动态视觉传感器的成像平面上，以形成多个目标对象模板；

(D)从所述多个目标对象模板中确定覆盖第一事件流段中的事件最多的第一目标对象模板，其中，第一事件流段是沿时间轴截取的所述事件流之中处于关键帧的时间戳附近的预定时间长度的事件流段；

(E)将第一事件流段的中间时刻与第一目标对象模板所对应的帧的时间戳的时间对齐关系，作为动态视觉传感器与辅助视觉传感器之间的时间对齐关系。

2.根据权利要求1所述的时间对齐标定方法，还包括：

(F)在确定第一目标对象模板之后，预测辅助视觉传感器在与第一目标对象模板所对应的帧的时间戳邻近的时间点时，所生成的各个帧中目标对象的有效像素位置按照动态视觉传感器与辅助视觉传感器之间的空间相对关系被分别映射到动态视觉传感器的成像平面上而形成的各个目标对象模板，从所述各个目标对象模板和第一目标对象模板中确定覆盖第一事件流段中的事件最多的第二目标对象模板，并使用确定的第二目标对象模板更新第一目标对象模板，

或者，

(G)在确定第一目标对象模板之后，从与第一事件流段邻近的预定时间长度的多个事件流段以及第一事件流段中确定，被第一目标对象模板所覆盖的事件最多的第二事件流段，并使用确定的第二事件流段更新第一事件流段。

3.根据权利要求2所述的时间对齐标定方法，其中，

与第一目标对象模板所对应的帧的时间戳邻近的时间点包括：第一目标对象模板所对应的帧的时间戳及上一帧的时间戳之间相隔预定时间间隔的各时间点，和/或第一目标对象模板所对应的帧的时间戳及下一帧的时间戳之间相隔预定时间间隔的各时间点。

4.根据权利要求2所述的时间对齐标定方法，其中，

在步骤(F)中，利用时域meanshift算法，基于第一目标对象模板和第一事件流段来确定第二目标对象模板。

5.根据权利要求1所述的时间对齐标定方法，其中，所述预定时间长度小于等于所述视频图像的相邻帧间的时间间隔，其中，所述时间对齐标定方法还包括：

沿时间轴截取所述事件流之中以关键帧的时间戳为中间时刻的预定时间长度的事件流段作为第一事件流段，

或者，

根据动态视觉传感器与辅助视觉传感器之间的初始的时间对齐关系，确定动态视觉传感器与关键帧的时间戳对齐的拍摄时间点；并沿时间轴截取所述事件流之中以对齐的拍摄时间点为中间时刻的预定时间长度的事件流段作为第一事件流段。

6.根据权利要求1所述的时间对齐标定方法，其中，所述目标对象的有效像素位置是目标对象在帧中所占的像素位置，或者是目标对象在帧中所占的像素位置向外扩展预定范围后所占的像素位置。

7.根据权利要求1所述的时间对齐标定方法，其中，步骤(D)包括：

确定所述多个目标对象模板之中的每一个目标对象模板所覆盖的成像平面中的像素位置所对应的第一事件流段中的事件的数量，并确定对应的事件的数量最多的目标对象模板为第一目标对象模板，

或者，

将第一事件流段中的事件按照时间积分的方式投影到成像平面以得到投影位置；确定所述多个目标对象模板之中的每一个目标对象模板所覆盖的成像平面中的像素位置；并确定所覆盖的像素位置与所述投影位置重叠最多的目标对象模板为第一目标对象模板。

8.根据权利要求1所述的时间对齐标定方法，其中，所述辅助视觉传感器是深度视觉传感器，所述视频图像是深度图像。