[发明专利]双目相机系统和双目相机空间标定方法

权利要求书

1.一种双目相机系统，其特征在于，依次级联有相机模块、校正模块、标定模块和存储模块，形成双目相机系统；镜头朝向相同且并联的事件相机和普通CMOS相机构成相机模块，其中各模块描述如下：

所述相机模块，包括有事件相机和CMOS相机，用于获取地址-事件数据流、图像和图像拍摄时间，其中，事件相机用于获取地址-事件数据流，CMOS相机用于获取图像和图像的拍摄时间，事件相机和CMOS相机同时输出数据并且事件相机和CMOS相机的输出图像的尺寸相同，事件相机的镜头和CMOS相机的镜头主轴平行，事件相机和CMOS相机的传感器平面在同一平面上；

所述校正模块，用于分别对事件相机输出的地址-事件数据流和CMOS相机输出的图像进行畸变校正和极线校正，并输出校正后的地址-事件数据流和校正后的图像，其中，校正模块存储有事先标定的事件相机的相机矩阵和畸变矩阵，存储有事先标定的CMOS相机的相机矩阵和畸变矩阵，还存储有事先标定的事件相机和CMOS相机之间的旋转矩阵和平移矩阵；

所述标定模块，用于对畸变校正和极线校正后的地址-事件数据流和图像进行空间位置标定，获取表示地址-事件数据流中事件坐标与图像像素坐标对应关系的单应矩阵并输出；

所述存储模块，包括有持久化存储器，用于持久化存储标定结果，标定结果包括校正后的地址-事件数据流、校正后的图像和表示地址-事件数据流中事件坐标和图像像素坐标对应关系的单应矩阵。

2.根据权利要求1所述的双目相机系统，其特征在于，所述校正模块中存储的事先标定的事件相机的相机矩阵和畸变矩阵由张正友标定法获得，校正模块存储的事先标定的CMOS相机的相机矩阵和畸变矩阵由张正友标定法获得；校正模块存储的事先标定的事件相机和CMOS相机之间的旋转矩阵和平移矩阵，由Bouguet极线校正方法获得。

3.一种双目相机空间标定方法，是在权利要求1-2所述的双目相机系统上实现的，其特征在于，包括有如下步骤：

(1)相机模块获取地址-事件数据流、图像和每幅图像的拍摄时间：

相机模块中的事件相机获取地址-事件数据流E＝{e_i|0＜i≤N₁}并输出，同时相机模块中的CMOS相机获取N₂幅图像和每幅图像拍摄的时刻S＝{s_r|0＜r≤N₂}并输出，其中e_i表示第i个事件，e_i＝(x_i,y_i,g_i,t_i)，x_i和y_i分别表示e_i的触发位置像素的横坐标和纵坐标，g_i表示e_i的灰度值，g_i＞0，t_i表示e_i的触发的时间，s_r＝(I_r,tp_r)，I_r表示图像序列S中的第r幅图像，tp_r表示图像I_r拍摄的时刻，N₁＞0，N₁表示地址-事件数据流E中的事件数量，N₂＞0；

(2)校正模块对每个事件e_i和图像I_r进行畸变校正和极线校正：

校正模块通过事件相机的相机矩阵和畸变矩阵对每个事件e_i进行畸变校正，得到畸变校正后的事件e_1,i，通过CMOS相机的相机矩阵和畸变矩阵对每幅图像I_r进行畸变校正，得到畸变校正后的图像I_1,r，并通过事件相机和CMOS相机之间的旋转矩阵和平移矩阵对事件e_1,i和图像I_1,r进行极线校正，得到极线校正后的事件e_2,i和图像I_2,r；

(3)标定模块对校正后的地址-事件数据流和图像进行空间位置标定：

标定模块对每一幅图像I_2,r，根据图像I_2,r的拍摄时刻tp_r，将校正后的地址-事件数据流E₂切分为多个地址-事件数据流段E_2,r，并将地址-事件数据流段E_2,r中的事件根据事件的坐标累积到矩阵中，用SIFT算子分别计算事件累积的矩阵和图像I_2,r的特征点，并进行特征点匹配，得到多对匹配点，并通过匹配点计算矩阵和图像I_2,r之间的单应矩阵，单应矩阵表示地址-事件数据流的事件坐标和图像像素坐标的对应关系；

(4)存储模块存储标定结果：存储模块将校正后的地址-事件数据流、校正后的图像和表示地址-事件数据流中事件坐标与图像像素坐标的对应关系的单应矩阵的集合存储在持久化存储器中，完成对事件相机和CMOS相机的空间标定。

4.根据权利要求3所述的双目相机系统的双目相机空间标定方法，其特征在于，步骤(3)中所述标定模块对校正后的地址-事件数据流和图像进行空间位置标定，包括有以下步骤：

(3a)构建全零矩阵M＝zeros(H,W)，其中H和W分别表示CMOS相机输出图像的行数和列数，H≥32，W≥32，令M中的每一个元素m＝0，并令i＝1；

(3b)令r＝1；

(3c)根据图像I_2,r的拍摄时间tp_r将地址-事件数据流划分为地址-事件数据流段：

(3c1)设图像I_r对应的地址-事件数据流事件集合为E_2,r，令E_2,r为空集合；

(3c2)判断事件e_2,i＝(x_2,i,y_2,i,g_i,t_i)中0＜x_2,i≤W且0＜y_2,i≤H是否成立，若是，执行步骤(3c3)，否则，令i＝i+1,并执行步骤(3c2)；

(3c3)将事件e_2,i＝(x_2,i,y_2,i,g_i,t_i)加入到集合E_2,r中，并执行步骤(3c4)；

(3c4)判断t_i≤tp_r是否成立，若是，令i＝i+1，并执行步骤(3c2)，否则，得到图像I_r对应的地址-事件数据流段E_2,r＝{e_2,r,b|0＜b≤B}，其中，e_2,r,b＝(x_2,r,b,y_2,r,b,g_2,r,b,t_2,r,b)，B表示集合E_2,r中的事件数量；

(3d)令b＝1；

(3e)令其中，表示矩阵M中坐标为(x_2,r,b,y_2,r,b)的元素；

(3f)判断b≤B是否成立，若是，令b＝b+1，并执行步骤(3e)，否则，执行步骤(3g)；

(3g)用SIFT算子提取矩阵M中的特征点，得到N_r,3个特征点HP_r＝{p_r,l|0＜l≤N_r,3}，其中，p_r,l＝(x_r,l,y_r,l,F_r,l)，(x_r,l,y_r,l)表示特征点的坐标,F_r,l表示特征点的特征描述符,N_r,3＞8；

(3h)令l＝1；

(3i)用SIFT算子计算图像I_2,r在y_r,l行上像素的特征点，得到W个特征点HP_r,l'＝{p_r,l,k'|0＜k≤W}，其中，p_r,l,k'表示图像I_2,r在y_r,l行上的第k个特征点，p_r,l,k'＝(x_r,l,k',y_r,l,k',F_r,l,k')，(x_r,l,k',y_r,l,k')表示特征点p_r,l,k'的坐标,F_r,l,k'表示特征点p_r,l,k'的特征描述符；

(3j)令k＝1；

(3k)计算F_r,l和F_r,l,k'之间的欧式距离o_r,l,k；

(3l)判断k＜W是否成立，若是，令k＝k+1，并执行步骤(3k)，否则，得到特征描述符距离集合O_r,l＝{o_r,l,k|0＜k≤W}，并执行步骤(3m)；

(3m)设O_r,l中最小值为o_r,l,k'，则p_r,l对应的特征点为p_r,l,k′′；

(3n)判断l≤N_r,3是否成立，若是，令l＝l+1，并执行步骤(3i),否则，得到地址-事件数据流集合E_2,r中事件和图像I_r的像素的对应点的集合KP_r＝{f_r,l＝(p_r,l,p_r,l,k′′)|0＜l≤N_r,3}，并执行步骤(3o)；

(3o)用八点法通过KP_r计算表示地址-事件数据流集合E_2,r中事件坐标和图像I_r中的像素坐标对应关系的单应矩阵H_r；

(3p)判断r≤N₂是否成立，若是，令r＝r+1，并执行步骤(3c)，否则，得到表示地址-事件数据流中事件坐标与图像像素坐标对应关系的单应矩阵的集合H＝{H_r|0＜r＜N₂}。