[发明专利]基于四套共线约束标定尺的大视场相机标定方法

权利要求书

1.一种基于四套共线约束标定尺的大视场相机标定方法，其特征是，标定方法通过在大型视觉测量视场内布置四套共线约束标定尺，利用交比不限性质以及直线约束求解畸变参数，通过空间的标定控制点，线性求解标定参数的初值，最后结合畸变系数以及标定初值利用L-M优化方法，以重投影误差最小为目标函数进行整体优化，得到大视场相机标定的精确结果，标定方法的具体步骤如下：

(1)根据视场适应原则布置标定控制点

根据视场适应的原则提出了大视场标定控制点的数量公式：

N=ceil(15f2whL2)---(1)]]>

其中，N是需要布置的标定控制点(1)的数量，根据计算要求N的数值要大于等于8，f是相机测量的焦距，L是左、右相机(7、8)距离被测零件的距离，w是相机图像传感器的水平尺寸，h是相机图像传感器的竖直尺寸；ceil函数表示取比括号内计算值大的最小整数，这样根据现场的实际情况就可以合理布置标定控制点；

(2)求解标定初始参数

标定控制点(1)在空间中的三维世界坐标为[X_wY_wZ_w1]^T，投影到成像平面上对应的平面坐标为[xy1]^T，相应的像素坐标为[uv1]^T，根据直接线性变换原理将像点和物点的成像几何关系在齐次坐标下写成透视投影矩阵的形式如下：

Suv1=αx0u00αyv0001[Rt]=K[Rt]XwYwZw1=M3×4XwYwZw1---(2)]]>

其中α_x、α_y分别代表x和y方向的等效焦距，u₀、v₀代表主点的像素坐标，矩阵K称为相机标定的內参数矩阵，[Rt]矩阵为相机标定的外参数矩阵，S是尺度因子；

线性求解相机内外参数的初值，就是求解公式(2)中内外参数矩阵，求解过程如下所示：

a)M矩阵的求解

设M=m11m12m13m14m21m22m23m24m31m32m33m34,]]>则根据坐标转换关系可得到以下方程：

ziui=m11Xwi+m12Ywi+m13Zwi+m14zivi=m21Xwi+m22Ywi+m23Zwi+m24zi=m31Xwi+m32Ywi+m33Zwi+m34---(3)]]>

其中，(X_wi,Y_wi,Z_wi)为空间点的世界坐标，(u_i,v_i)为对应图像点的像素坐标，(x_i,y_i,z_i)为该点在摄像机坐标系中的坐标；

联立消去z_i，得

uim34=m11Xwi+m12Ywi+m13Zwi+m14-m31Xwiui-m32Ywiui-m33Zwiuivim34=m21Xwi+m22Ywi+m23Zwi+m24-m31Xwivi-m32Ywivi-m33Zwivi---(4)]]>

上述方程用矩阵形式表示为：

Xw1Yw1Zw110000-u1Xw1-u1Yw1-u1Zw10000Xw1Yw1Zw11-v1Xw1-v1Yw1-v1Zw1.................................XwnYwnZwn10000-unXwn-unYwn-unZwn0000XwnYwnZwn1-vnXwn-vnYwn-vnZwnm11m12m13m14m21m22m23m24m31m32m33=u1m34v1m34u2m34v2m34.........un-1m34vn-1m34unm34vnm34---(5)]]>

上述关系记为Km＝U，由于m矩阵乘以任一不为零的系数均不影响空间点的世界坐标和图像坐标之间的关系，将上式m₃₄置为1，m矩阵与元素m₃₄＝1构成所求矩阵M′；注意由上述矩阵求解出的M′矩阵与实际的M矩阵相差一个常数因子m₃₄，两者的关系为M＝m₃₄M′；

当坐标已知的点数N≥6时即可以求解上述方程(5)；当方程个数多于未知量个数时，该方程组称为超定方程组，采用最小二乘法进行求解；m是超定方程组Km＝U最小二乘解的充要条件为：m为方程K^TKm＝K^TA的解；因此，m＝(K^TK)^-1K^TU；

b)内外参数的分离求解

由M矩阵分解出摄像机内外参数矩阵M₁和M₂，由M＝M₁M₂得到：

m34m1Tm14m2Tm24m3T1=αx0u000αyv000010r1Ttxr2Ttyr3Ttz0T1---(6)]]>

其中，为m_ij(j＝1,2,3)组成的行向量，r_i^T为旋转矩阵R的第i行，而t_x，t_y，t_z为平移矩阵T的三个分量，上述矩阵形式化为：

m34m1Tm14m2Tm24m3T1=αxr1T+u0r3Tαxtx+u0tzαyr2T+v0r3Tαyty+v0tzr3Ttz---(7)]]>

比较等式两边，得m₃₄m₃＝r₃，由于旋转矩阵R是正交矩阵，则有以下性质：列向量组是单位正交向量组，即

riTrj=0,i≠j1,i=j]]>

因此，|r₃|＝1，得到m₃₄|m₃|＝1，求出至此，M矩阵12个元素全部求出；

由此求解参数u₀，v₀，α_x，α_y：

(αxr1T+u0r3T)r3=u0=m34m1Tr3=m342m1Tm3---(8)]]>

(αyr2T+v0r3T)r3=v0=m34m2Tr3=m342m1Tm3---(9)]]>

(αxr1+u0r3)×r3=m34m1×r3=m342m1×m3,]]>即αx=m342|m1×m3|---(10)]]>

(αyr2+v0r3)×r3=m34m2×r3=m342m2×m3,]]>即αy=m342|m2×m3|---(11)]]>

其中，×表示向量积运算符；

由以上参数进一步求解r₁，r₂，r₃，t_x，t_y，t_z：

r₃＝m₃₄m₃(12)

r1=m34αx(m1-u0m3)---(13)]]>

r2=m34αy(m2-v0m3)---(14)]]>

t_z＝m₃₄(15)

tx=m34αx(m14-u0)---(16)]]>

ty=m34αy(m24-v0)---(17)]]>

求解出来相机标定的內参数矩阵K以及外参数矩阵[Rt]，并以此作为整体优化的初始值；

(3)利用四套共线标定约束尺求解畸变系数

放置在测量视场四角的左后、左前、右后、右前共线约束标定尺(3、4、5、6)，每一套共线约束标定尺是由三角支架(d)、竖直升降的支撑杆(c)以及能伸缩，并且绕支撑杆旋转的标定尺(b)组成；标定尺上有共线的测量标志点(a)，在使用时根据测量现场的大小合理调节标定尺的高度、长度以及位置，但要保证每组共线约束标定尺上至少有四个共线点位于测量视场内；

选取每套标定尺上的四个点，记为A，B，C，D，其世界坐标分别为(x_a,y_a,z_a)，(x_b,y_b,z_b)，(x_c,y_c,z_c)，(x_d,y_d,z_d)，由于四点共线，因此易得交比：

(xa-xc)(xb-xd)(xb-xc)(xa-xd)=CR]]>(ya-yc)(yb-yd)(yb-yc)(ya-yd)=CR]]>(za-zc)(zb-zd)(zb-zc)(za-zd)=CR]]>

设点A，B，C，D对应的图像点的坐标分别为(x_ia,y_ia)，(x_ib,y_ib)，(x_ic,y_ic)，(x_id,y_id)，根据交比不变性，则有：

(xia-xic)(xib-xid)(xib-Lic)(xia-xid)=CR]]>(yia-yic)(yib-yid)(yib-yic)(yia-yid)=CR]]>

由于存在畸变，图像点的实际坐标为而非理想点位置(x_i,y_i)，考虑一阶径向畸变，则有下式成立：

xi=x‾(1+k1r2)yi=y‾(1+k2r2)---(18)]]>

其中，那么A,B,C,D的理想点坐标和实际点坐标有如下关系

xia=x‾a(1+k1ra2)yia=y‾a(1+k2ra2)]]>xib=x‾b(1+k1rb2)yib=y‾b(1+k2rb2)]]>

xic=x‾c(1+k1rc2)yic=y‾c(1+k2rc2)]]>xid=x‾d(1+k1rd2)yid=y‾d(1+k2rd2)]]>

将上述式子代入交比的表达式：

(x‾a(1+k1ra2)-x‾c(1+k1rc2))(x‾b(1+k1rb2)-x‾d(1+k1rd2))(x‾b(1+k1rb2)-x‾c(1+k1rc2))(x‾a(1+k1ra2)-x‾d(1+k1rd2))=CR=(xa-xc)(xb-xd)(xb-xc)(xa-xd)---(19)]]>

(y‾a(1+k2ra2)-y‾c(1+k2rc2))(y‾b(1+k2rb2)-y‾d(1+k2rd2))(y‾b(1+k2rb2)-y‾c(1+k2rc2))(y‾a(1+k2ra2)-y‾d(1+k2rd2))=CR=(ya-yc)(yb-yd)(yb-yc)(ya-yd)---(20)]]>

求解上述方程，即求出畸变系数k₁，k₂，这里的k₁，k₂分别代表x和y方向上的一阶径向畸变系数，最终任意方向上的径向一阶畸变系数因放置四套共线约束标定尺在畸变最大的视场四角，每次拍摄都会得到四套畸变系数k_a,k_b,k_c,k_d，取其平均值作为最终结果，即为

k=ka12+ka22+kb12+kb22+kc12+kc22+kd12+kd224---(21)]]>

得到了标定现场的畸变系数初值；

(4)整体标定参数优化

根据重投影误差最小原则，也即根据标定结果进行空间点重建，使其计算结果与实际的测量数值进行比较，并使其差值最小的原则，建立如下的非线性全局优化目标函数:

Σi=1nΣj=1n||mij-m^(K,Ri,ti,Mj,k)||2---(22)]]>

其中，m_ij为实际的图像坐标，为利用内外参数求解出的计算图像坐标，M_j为图像点匹配的空间三维点的世界坐标,；K为內参数矩阵，k为一阶径向畸变系数，R_i为迭代的旋转矩阵，同理t_i为对应的平移矩阵；

利用Levenberg-Marquardt算法求解上述的目标函数，先假设一个最大位移s，在以当前点为中心，s为半径的的区域内寻求目标函数的近似函数，对近似函数求最小值，并求得实际位移，再计算实际目标函数的值，将计算出的函数值和实际的函数值进行比较，判断是否满足使目标函数值有满意程度的下降，若符合满意程度则继续迭代计算，反复进行上述过程，若不符合则减小信赖域半径，缩小区域重新寻求近似函数；最终不断贴近真实的相机畸变模型，使目标函数达到最小值的参数组合即为所需的最优解，完成了大视场相机的高精度标定。