[发明专利]基于一维标定杆的普通、广角、鱼眼立体摄像机的通用标定方法

摘要

一种基于一维标定杆的普通、广角、鱼眼立体摄像机的通用标定方法，该方法有四大步骤：步骤一：摄像机内参的初始化；步骤二：摄像机外参的初始化；步骤三：优化目标函数的建立；步骤四：摄像机内外参的非线性优化。由于现有的标定算法不能够满足鱼眼镜头摄像机立体视觉系统的准确性与方便性，因此本发明即在此通用相机模型的基础上设计了对于普通、广角、鱼眼镜头摄像机通用的立体视觉系统标定方法。通过Matlab仿真和真实的实验可以验证本发明是可行的并且有效的。它在机器视觉技术领域里有较好的实用价值和应用前景。

主权项

1.一种基于一维标定杆的普通、广角、鱼眼立体摄像机的通用标定方法，其特征在于：该方法具体作法如下： 本通用标定方法所采用的通用摄像机模型如下： r(θ)=k₁θ+k₂θ³            (1) 这一模型仅有两个参数k₁和k₂，由于r(θ)在[0，π/2]区间单调递增，因此模型是反向求解； 一个三维空间点P通过一个鱼眼摄像机成像点为p，若通过针孔摄像机成像点则是p′，p″为P在以O_c为球心的半球体的投影点，O_c-X_cY_cZ_c表示摄像机坐标系，o-xy表示图像坐标系，通过下式计算p的图像像素坐标为： 其中r(θ)由式(1)获得，是径向方向与o-xy的x正轴方向的夹角，(x，y)为图像坐标，(u₀，v₀)是主点像素坐标，dx和dy分别是水平和垂直方向的像素大小；p″点的坐标表示为对应的准齐次坐标p″′为：对于任意空间点及其成像像素坐标通过下列计算式求得θ和得到径向距离为： 由式(1)通过卡丹公式求解一元三次方程组选择符合θ∈[0，π/2]的解； 径向夹角通过反向求解获得对于立体视觉而言，需要标定的参数包括各摄像机内参和摄像机间外参，摄像机内参即 为摄像机模型中{k₁，k₂，u₀，v₀，dx，dy}六个参数，摄像机间外参即为摄像机坐标系之间的位置和姿态的关系，一般用3×3旋转矩阵R和3×1平移向量T表示： 该方法具体步骤如下： 步骤1：摄像机内参的初始化 每个摄像机的内参包括{k₁，k₂，u₀，v₀，dx，dy}六个参数； 1.1、主点(u₀，v₀)是光轴通过图像坐标系交点的坐标，一般直接用图像中心点坐标初始化； 1.2、像素大小dx和dy以摄像机生产商提供值作为初始值； 1.3、对于普通和广角摄像机，k₁和k₂通过摄像机生产商提供的标称焦距f和最大视角θ_max利用透视投影模型r=ftanθ来得到；具体实现方法为：将0～θ_max等分取m(m≥2)个θ_i(i=1，…，m)，分别代入透视投影模型r=ftanθ和(1)有 此时，即得到关于k₁和k₂的m个线性方程，通过线性最小二乘方法求得k₁和k₂； 其中 而对于鱼眼相机而言，则令k₁=f，k₂=0； 步骤2：摄像机外参的初始化 摄像机外参的初始化通过对摄像机系统的本质矩阵E进行奇异值分解得到； 2.1、对初始特征点进行归一化处理 给定n对两幅图像中的特征点集，根据式(4)～(6)以及各摄像机初始内参得各特征点成像时对应的θ_i和通过式(3)计算出特征点在各摄像机模型的半球面投影点的准齐 次坐标为其中X_i=(x_i，y_i，1)^T，X′_i=(x′_i，y′_i，1)^T；令 其中， 同理，T′_norm也类似求出；2.2、计算本质矩阵 将归一化后的数据Y_i和Y′_i(i=1，…，n)代入 对n×9的矩阵A_e进行奇异值分解得 其中S_e=diag(σ₁，…，σ₉)，且σ₁≥…≥σ₉，diag表示对角阵，0_(n-9)×9为(n-9)×9的全0矩阵；V_e为9×9矩阵，由V_e的第9列元素得到： 采用奇异值分解将E_norm分解为 其中，D₁≥D₂≥D₃，令D₃=0，则有： 得到本质矩阵为： E=(T′_norm)^TE′_normT_norm          (17) 2.3、利用本质矩阵求取摄像机外参的可能解R′和T′ 当通过式(17)获得本质矩阵E后，摄像机外参的可能解R′和T′即通过本质矩阵E的奇异值分解来获得；令 E=USV^T                    (18) 此时R′和T′有四个可能的组合： 这里 为了最终得到正确的组合，需遵循以下准则：1）R′的行列式值为1；2）每一个重建的三维点X必然位于两个摄像机的前方，也就是说，X的Z坐标必须全为正值，如因噪声影响不全为正，应取使得重建的X的Z坐标为正值最多的组合作为最终正确组合； 2.4、重建三维点得到真实解 假设三维点M在左右两个摄像机O₀-X₀Y₀Z₀坐标系和O₁-X₁Y₁Z₁坐标系的坐标分别为M₀=(X₀，Y₀，Z₀)^T和M₁=RM₀+T，且点在两相机的成像像素坐标点为(u_m，v_m)和(u′_m，v′_m)，由式(4)～(6)及初始内参求得对应的θ₀，θ₁，此时利用线性最小二乘方法直接求解出X₀，Y₀，Z₀： 其中 因此将式(19)中四组可能解分别替换(R，T)代入式(21)中进行三维点重建计算，利用判断准则对可能解进行筛选，直到得到最终的唯一解，此时有R=R′；由于||T′||=1，因此计算得到的平移向量T'与真实的平移向量T相差一个常值因子；令L′表示两个重建三维特征点的距离，L表示真实距离；为了最小化计算误差，常值因子λ需要使用两个相机所有的图像点对计算得到，此时有 其中N表示图像点对的数量，最终求得的转移向量为： 步骤3：目标函数的建立 本方法中一维标定杆上特征点的个数并没有限制，只要能保证每一对图像上同一三维点的不同成像点能够准确匹配就能完成标定；本方法中在一维标定杆上装载了三个特征点，若因应用需要添加特征点，依次类推计算即行；由于噪声，一维标定杆上的特征点重建以后会产生误差，令d(A，B)=||A-B||，||·||表示欧几里得向量范数，得到距离和共线误差表示为： 其中k₁，k₂，u₀，v₀，dx，dy和k′₁，k′₂，u′₀，v′₀，dx′，dy′分别为左右摄像机的内部参数；通过Rodrigues公式与旋转矩阵R互相转化，即为单位向量；为第k幅图像对中通过式(21)计算的A，B，C的重建点；L，L₁，L₂分别为真实特征点AC、AB及BC之间的实际 距离；假设a_0，k，b_0，k，c_0，k和a_1，k，b_1，k，c_1，k是采集第k幅图像点对时通过式(3)求得的三维特征点A，B，C在左右摄像机半球面模型上投影点对应的准齐次坐标，有： 其中，[T]_×为由T定义的反对称矩阵： 结合式(24)～(30)，得到的优化目标函数为 其中ρ₁∈(800，1200)，ρ₂∈(0.5，1.5)； 步骤4：内外参数的非线性优化 由步骤3知，共有18个参数需要优化，将优化过程分为两步： 4.1、固定y为y₀，即y=y₀，y₀由步骤1的初始值给定，设定x的估计为初始值，利用LM方法来求解如下优化问题 得到最优解x^*； 4.2、设定y₀为初始值，利用LM求解如下优化问题 得到最优解y^*； 此时，即得到了摄像机内外参数的最优解x^*和y^*。