[发明专利]一种折反射全景相机与IMU传感器的标定方法

权利要求书

1.一种折反射全景相机与IMU传感器的外参标定方法，该方法包括以下步骤：

步骤1、获取折反射全景相机的外参：根据折反射相机内参，通过EPNP算法对外参进行计算，应用N个三维点建立约束计算控制点在相机坐标系下的坐标，通过这种方式减小真实特征点对相机位姿估计误差的影响，获得折反射全景相机的外参；

步骤2、获取IMU传感器的外参：通过获取IMU的测量数据，对获得的IMU数据进行预积分处理，根据测量模型以及对预积分关于偏置的估计量，推导出下一关键帧的状态信息，通过奇异值分解求解IMU的外参数据；

步骤3、折反射相机-IMU外参标定：根据折反射全景相机和IMU传感器的测量模型出发，找到折反射全景相机坐标系和IMU坐标系之间的关系，对构建重投影误差以及相机和IMU之间的位姿估计值，优化折反射相机-IMU之间外部参数，得到最终的外部参数标定数，实现折反射全景相机与IMU对外参进行准确标定。

2.根据权利要求1所述的一种折反射全景相机与IMU传感器的外参标定方法，其特征在于，所述步骤1，获取折反射全景相机的标定，具体步骤如下：

1-1、准备尺寸已知的棋盘格标定板；

1-2、固定标定板，移动折反射全景相机采集标定板位于图像中不同位置和角度的图像；

1-3、通过标定算法提取每一张图像中棋盘格标定的角点信息，根据先验信息的相机内参结果运用EPNP算法实现折反射相机的外参的计算；

所述EPNP算法，包括以下步骤：

1)建立世界坐标系，相机坐标系的参考点分别为和且俩个坐标系下的控制点分别为和

2)用EPNP算法将参考点的坐标表示为控制点坐标的加权和：且相机坐标系下依然存在一样关系：

选择三维参考点的重心作为第一个控制点：

3)计算的重心和矩阵A

4)计算和重心和矩阵B

5)计算H＝B^-1A，将H进行奇异值分解：

H＝UΣV^T (5)

6)计算旋转矩阵和平移适量

所述步骤2，获取IMU传感器的外参标定，具体步骤如下：

IMU传感器的测量模型为：

_Ba(t)是加速度计测量惯性坐标系下的加速度，_Bw^*_wb(t)陀螺仪测量旋转角速度；b^a(t)和b^g(t)随时间变化的加速度计偏置和陀螺仪偏置；n^a(t)和n^g(t)是随时间辩护说的加速度计和陀螺仪白噪声；g_w世界坐标下的重力向量；a_w(t)世界坐标系随时间变化的加速度；_Bw_wb(t)载体坐标下的角速度；且WB是IMU坐标系B到世界坐标系W的转换；B,W是载体坐标系B和世界坐标系W；

假设IMU传感器偏置的上一秒是受到微小扰动δb的影响，变换新值为b，i时刻到j时刻之间的IMU传感器测量值的与积分ΔR_i,j，Δυ_i,j，Δp_i,j，IMU下的旋转信息R、位置信息p、速度信息v和偏置b_i。根据测量模型以及对预积分关于偏置的估计量采用一阶近似公式更新：

根据上式推导出下一关键帧的状态信息：

旋转增量相对于陀螺仪偏置的雅可比矩阵；速度增量相对于陀螺仪偏置和加速度计的雅可比矩阵；和位移增量相对于陀螺仪偏置和加速度偏置的雅可比矩阵；则陀螺仪偏置估计：

通过奇异值分解求解重力向量和加速度计偏置；所有姿态包括旋转角度R，速度V和位置P；获得IMU初始位姿坐标系下，在Δt时间内IMU的移动轨迹为t+Δt的实际IMU测量。

3.根据权利要求2所述的一种折反射全景相机与IMU传感器的外参标定方法，其特征在于，所述步骤3，折反射相机-IMU外参标定，具体步骤如下：

根据步骤1和步骤2分别从折反射全景相机和IMU传感器的测量模型出发，对两种传感器的位姿进行分析；折反射全景相机坐标系和IMU坐标系之间满足以下关系：

T_wb＝T_wc.T_cb (12)

将上式展开得到相机坐标系和IMU坐标系之间旋转角与平移量的关系：得到折反射全景相机和IMU传感器之间的位姿关系；

R_wb＝R_wc.R_cb (14)

P_wb＝R_wc.P_cb+s.P_wc (15)

而后对构建重投影误差以及相机和IMU之间的位姿估计值，采用最小二乘法的方法关联集合S，以迭代相机-IMU之间外部参数，得到最终的外部参数标定数；

重投影误差项的代数函数E_visual(k,j)对相机的状态变量Xc进行优化估计:

X_c＝{R₀,p₀,R₁,p₁,...,R_n,p_n,_wX₀,_wX₁,...,_wX_m} (16)

_wX_k世界坐标系下的三维空间点；x_k像素平面中的像素平面坐标；同时构建IMU传感器的代价函数E_IMU(k,j)，并通过非线性优化对状态X_i进行估计：

根据两个传感器误差方程联合优化，最终得到最后的外参。