[发明专利]基于IMU辅助的360度全景视图多相机标定方法

权利要求书

1.基于IMU辅助的360度全景视图多相机标定方法，其特征在于：包括如下步骤，

步骤1，对相机和IMU进行固联，组成IMU辅助的360度全景视图系统；

步骤2，将IMU辅助的360度全景视图系统与小车组建成实验平台；

步骤3，对IMU和相机安装的相对位置关系进行标定,分为如下步骤进行：

第一步，启动系统；

第二步，通过相机获得图像数据，从而计算当前姿态信息；

第三步，在第二步同时，获取IMU的数据，从而计算当前姿态信息；

第四步，将IMU和相机两两进行姿态融合，得到相对姿态；

第五步，根据两两之间的相对姿态关系，得到相机和相机之间的相对姿态关系；

步骤4，完成对IMU和相机安装的相对位置关系的标定；

具体的，当相机数量为三个时，多相机融合的标定方法设计步骤如下：

(1)所述相机为单目相机，根据惯导和单个相机的标定结果，分别进行三次，得到惯导和每个相机的两两安装关系其中n取1、2、3，表示的是单个相机；

(2)根据公式1的两两关系，可以得到相机之间的安装关系，具体计算公式如下所示：

由(6)和(7)两个式子可得到如下(9)和(10)两个式子：

由于相机和惯导的相对姿态矩阵都可以由第一步计算出来，因此可以得到相机1和相机2之间的安装关系，同理可得到相机2和相机3之间的安装关系；

其中R1_BC为相机1与辅助IMU之间的外参关系，为相机1在i+1时刻与初始时刻的位姿变换关系，R2_BC为相机2与辅助IMU之间的外参关系，为相机2在i+1时刻与初始时刻的位姿变换关系，R3_BC为相机3与辅助IMU之间的外参关系，为相机3在i+1时刻与初始时刻的位姿变换关系。

2.根据权利要求1所述的基于IMU辅助的360度全景视图多相机标定方法，其特征在于：以IMU为辅助传感器，实现多相机标定，其中每一个相机都需要与IMU单独进行标定，标定方法设计步骤如下：

(1)所述相机为单目相机，由于单目相机可以跟踪系统的位姿，所以通过对极几何约束和随机采样一致性检测两帧图像之间的相对旋转

(2)对IMU陀螺仪测量的角速度进行积分，得到IMU坐标系下的相对旋转

(3)根据步骤(1)和步骤(2)，可以得到:

将式(1)用四元数表示:

权值可由下式得到:

其中R_BC为相机与IMU之间的位姿转换关系，为IMU在i+1时刻与初始时刻位姿变换关系的四元数表达形式，q_BC为R_BC的四元数变换，为相机在i+1时刻与i时刻相邻两帧的位姿变换关系的四元数表达形式，α_N-1,N为处理外点对系统干扰的权值，Q_N-1,N为相邻两帧回环检测的四元数表达形式，Q_N为最小奇异值对应的特征向量，t₀为设定的阈值，r_i,i+1为相邻两帧数据之间位姿变换通过回环检测得到的残差值。