[发明专利]一种基于多约束的高精度双目相机标定方法

权利要求书

1.一种基于多约束的高精度双目相机标定方法，其特征在于包括以下标定步骤：

(1)使用双目相机从多个视角方位朝向同一国际象棋黑白棋盘格图案拍摄多次，获得多对左右图像，并以黑白棋盘格图案中两条线交叉处的点作为特征点；

(2)使用张正友标定法计算获得左相机的内参矩阵A_l、左相机的畸变系数D_l、左相机的外参矩阵N_l、右相机的内参矩阵A_r、右相机的畸变系数D_r、右相机的外参矩阵N_r以及由右相机坐标系转换到左相机坐标系的相机间外参矩阵N_rl，并作为双目相机的初始参数；

(3)针对每一个世界坐标系下黑白棋盘格图案中坐标已知的特征点M，将特征点M分别通过左右相机的内外参矩阵计算获得特征点M在左、右图像坐标系下的理论图像点m_l(u_cl,v_cl)、m_r(u_cr,v_cr)，其中u_cl,v_cl分别表示左图像坐标系下理论图像点m_l的横纵坐标，u_cr,v_cr分别表示右图像坐标系下理论图像点m_r的横纵坐标，左、右图像坐标系是分别以左、右图像平面为基准的二维笛卡尔坐标系；并对左右图像进行角点检测获得特征点M在左右图像中对应的实际图像点

(4)由理论图像点m_l(u_cl,v_cl)、m_r(u_cr,v_cr)根据步骤(1)获得左右相机的畸变系数D_l(k_1l,k_2l,p_1l,p_2l)和D_l(k_1r,k_2r,p_1r,p_2r)基于二阶径向和切向畸变的畸变模型采用以下公式计算获得理论畸变后的图像点

式中，r_l是理论图像点m_l到左图像坐标系原点的距离，r_r是理论图像点m_r到右图像坐标系原点的距离；k_1l,k_2l,p_1l,p_2l分别表示左相机的一阶径向畸变系数、二阶径向畸变系数、一阶切向畸变系数和二阶切向畸变系数，k_1r,k_2r,p_1r,p_2r分别表示右相机的一阶径向畸变系数、二阶径向畸变系数、一阶切向畸变系数和二阶切向畸变系数，u_dl,v_dl分别表示左图像坐标系下理论畸变后的图像点的横纵坐标，u_dr,v_dr分别表示右图像坐标系下理论畸变后的图像点的横纵坐标；

(5)根据实际图像点和步骤(4)所得的理论畸变后的图像点处理获得重投影误差累加和J_rep；

所述步骤(5)具体为：计算实际图像点分别和步骤(4)所得的理论畸变后的图像点之间的坐标差值，作为重投影误差；针对每张图像中的每个特征点均处理获得重投影误差，将所有图像的所有特征点的重投影误差全部相加获得重投影误差累加和J_rep；

(6)根据步骤(1)获得左右相机的畸变系数D_l和D_r和特征点M在左右图像中对应的实际图像点使用无畸变递归求解方法计算获得特征点M在左右图像中对应的矫正后的无畸变图像点和并作为无畸变图像点对

(7)通过无畸变图像点对和基础矩阵F计算极线误差累加和J_epi；

所述步骤(7)具体为：根据对极几何原理，通过矫正后的无畸变图像点和基础矩阵F计算无畸变图像点对之间的极线误差，针对每一个特征点M在每对左右图像中对应的一对无畸变图像点均处理获得极线误差，计算所有对左右图像中所有无畸变图像点对的极线误差累加和J_epi，具体公式为；

式中，表示第i个视角方位拍摄的左图像下的第j个矫正后的无畸变图像点的齐次坐标，表示第i个视角方位拍摄的右图像下的第j个矫正后的无畸变图像点的齐次坐标，d(*,*)²代表两个坐标的几何距离的平方，i表示视角方位拍摄的序号，j表示矫正后的无畸变图像点的序号，F表示基础矩阵；

所述步骤(7)中的基础矩阵F由左、右相机内参矩阵A_l、A_r和相机间的外参矩阵N_rl构成；

(8)由无畸变图像点和采用最优化三角测量方法计算出满足对极几何约束的可用于三维重建的最优左右图像特征点对最优左右图像特征点对的两个点分别和各自相机光心作连线和连线连线和连线相交于空间中一点点作为特征点M的三维重建特征点；

(9)根据三维重建特征点处理获得相邻距离误差累加和J_adj；

所述步骤(9)具体为：计算黑白棋盘格图案中沿行方向相邻的每两个特征点所对应的三维重建特征点之间的空间距离和黑白棋盘格图案中沿列方向相邻的每两个特征点所对应的三维重建特征点之间的空间距离，以空间距离和用游标卡尺测量黑白棋盘格图案中相邻两个特征点实际间距之间的差值作为空间中相邻三维重建特征点在行和列方向上的相邻距离误差，黑白棋盘格图案中的行方向代表了空间中的行，黑白棋盘格图案中的列方向代表了空间中的列；

计算所有相邻距离误差的累加和，作为相邻距离误差累加和j_adj：

其中，D(M_h,M_v)为沿水平/竖直方向相邻的每两个特征点所对应的三维重建特征点之间的空间距离，L_adj为用游标卡尺对黑白棋盘格图案中相邻特征点间距的测量值，h代表行方向，v代表列方向；

(10)根据三维重建特征点处理获得共线误差累加和J_col；

所述步骤(10)具体为：将黑白棋盘格图案中位于外围边缘一圈上的特征点对应获得的三维重建特征点作为外部三维重建特征点，将黑白棋盘格图案中位于非边缘中间的特征点对应获得的三维重建特征点作为内部三维重建特征点；

对于所有内部三维重建特征点，计算该内部三维重建特征点到和该内部三维重建特征点位于同一行的两个外部三维重建特征点之间连线的垂直距离，以及该内部三维重建特征点到和该内部三维重建特征点位于同一列的两个外部三维重建特征点之间连线的垂直距离；计算所有视角方位拍摄的左右图像下所有内部三维重建特征点的垂直距离的累加和，作为共线误差累加和J_col；

(11)根据三维重建特征点处理获得直角误差累加和J_rig；

所述步骤(11)具体为：黑白棋盘格图案中位于外围边缘一圈四角上的四个特征点对应获得的三维重建特征点构成一个四边形，根据余弦定理求取四边形的四个角的角度，以∠M_ci,j来表示所求角度，计算每个角的角度和直角之间的角度差值；计算所有视角方位拍摄的左右图像下所有四边形的四个角对应的角度差值累加和，作为直角误差累加和J_rig：

其中，∠M_ci,j表示第i个视角方位拍摄的左右图像下四边形的第j个角的角度，i表示视角方位拍摄的序号，j表示四个角的角序号；

(12)建立优化目标函数进行求解获得最优的相机参数，完成对双目相机的高精度标定；

所述步骤(12)具体是建立以下公式的优化目标函数，然后采用列文伯格-马夸尔特法对优化目标函数进行求解获得最优的相机参数；

min J_opt＝J_rep+J_epi+J_adj+J_col+J_rig

其中，J_rep表示重投影误差累加和，J_epi表示极线误差累加和，J_adj表示相邻距离误差累加和，J_col表示共线误差累加和，J_rig表示直角误差累加和。