[发明专利]混合相机系统及其时间标定方法及装置

权利要求书

1.一种混合相机系统及其时间标定方法，其特征在于，包括以下步骤：

搭建混合相机系统，其中，所述混合相机系统由event-based相机、相机与分光片组成；

运行所述混合相机系统，并记录所述event-based相机拍摄的事件与所述相机拍摄的视频；

获取所述相机拍摄的视频相邻帧之间的像素变化；

将所述event-based相机拍摄的事件个数根据视频帧率间隔求和；

获取所述相机的相邻帧之间的像素变化与所述event-based相机求和后事件个数的互相关系数；以及

获取所述event-based相机与所述相机时间差，以获得时间对齐结果，进而完成时间标定。

2.根据权利要求1所述的混合相机系统及其时间标定方法，其特征在于，所述搭建混合相机系统，进一步包括：

将所述event-based相机、所述分光片与所述相机的空间位置p_D，p_S，p_C在xy方向平面的投影构成等腰直角三角形，且z方向上的分量相同，所述event-based相机与所述相机位于所述分光片平面两侧，且使所述event-based相机经过所述分光片的反射像与所述相机重合，使得p_D’＝p_C。

3.根据权利要求1所述的混合相机系统及其时间标定方法，其特征在于，所述视频相邻帧之间的像素变化为视频相邻两帧各像素差的 绝对值之和，且所述视频帧率间隔为所述相机拍摄视频帧率的倒数。

4.根据权利要求1所述的混合相机系统及其时间标定方法，其特征在于，所述event-based相机在任一时间间隔内获得的事件个数是指从时间间隔开始至时间间隔结束内的事件总数其中，E_t为在t时刻发生的事件个数，进而所述互相关系数为计算两个信号或者函数f(x)与g(x)之间的相关性，计算公式为：

其中，len(h(x))表示函数h(x)的长度，f(i)为第一个信号，g(i)为第二个信号，i为累加序号，n为相关函数自变量，R_f，g(n)为相关函数，len(f(x))-1为函数f(x)的长度减一。

5.根据权利要求1-4任一项所述的混合相机系统及其时间标定方法，其特征在于，所述获取所述event-based相机与所述相机时间差，进一步包括：

寻找互相关函数的最大值位置，并用event-based相机信号长度减去后获得的值，以得到所述event-based相机与所述相机时间差Δt，其中，Δt＝f*(len(c(x))-1-argmax(R_d，c(n)))，其中f为视频帧率，c(x)为所述相机的相邻帧像素变化函数。

6.一种混合相机系统及其时间标定装置，其特征在于，包括：

搭建模块，用于搭建混合相机系统，其中，所述混合相机系统由event-based相机、相机与分光片组成；

记录模块，用于运行所述混合相机系统，并记录所述event-based相机拍摄的事件与所述相机拍摄的视频；

第一获取模块，用于获取所述相机拍摄的视频相邻帧之间的像素变化；

求和模块，用于将所述event-based相机拍摄的事件个数根据视频帧率间隔求和；

第二获取模块，用于获取所述相机的相邻帧之间的像素变化与所述event-based相机求和后事件个数的互相关系数；以及

时间标定模块，用于获取所述event-based相机与所述相机时间差，以获得时间对齐结果，进而完成时间标定。