[发明专利]双目立体测量系统多视角测量中的自定位方法

摘要

本发明涉及一种自动确定双目立体传感器在不同视角测量时的相对位置和姿态的方法。本方法利用双目立体测量系统在每个视角测量时，左、右相机的相对位姿是已知且保持不变这一内在约束条件，联合了左、右相机在不同次测量中各自产生的匹配点对，构造多视图几何约束关系，并自动解算两次测量时立体传感器相对位姿的初值；然后通过多视角测量中重建出的三维特征点及其在各幅图像中的像点与立体传感器相对位姿之间的约束关系，优化确定各个测量视角的相对位姿。本方法提高立体传感器自身定位及数据拼合的精度与可靠性，并降低多视角测量数据的可拼合条件。

主权项

1.一种双目立体测量系统多视角测量中的自定位方法，其特征在于包括以下过程：步骤1：两测量视角之间图像特征匹配集的建立双目立体测量系统在两个不同视角进行测量时，左右相机共拍摄4幅图像，通过对两两图像进行特征点提取和匹配，获取相应的同名对应点集合，其中同名对应点表示同一空间点在不同图像上的投影点；对于多视角测量中的两个视角，不失一般性称为视角1和视角2，记在视角1测量时左、右相机拍摄的图像分别为和在视角2测量时左、右相机拍摄的图像为和这里上标代表视角，下标l、r代表左、右相机；建立与之间的同名对应点集合与之间的同名对应点集合为和之间的同名对应点集合和之间的同名对应点集合和之间的同名对应点集合以及和之间的同名对应点集合步骤2：两测量视角之间几何变换的初始估计双目立体测量系统进行两视角测量时，双目立体结构中两个相机的内部参数和相对位姿已经过标定，而双目立体结构在两个不同测量视角之间的位姿是未知的，需要计算能表征相应位姿关系的几何变换矩阵；集合中的一个元素即一个同名匹配点对记为集合中的元素记为已标定的左、右摄像机的内部参数矩阵分别记为A_l、A_r，则在图像畸变已经做过校正的条件下，根据现有的针孔成像模型，可得图像特征点在各自摄像机坐标系下的三维坐标：这里代表特征点在左摄像机坐标系取得三维坐标，代表特征点在左摄像机坐标系取得三维坐标，代表特征点在右摄像机坐标系取得三维坐标，代表特征点在右摄像机坐标系取得三维坐标，分别表示图像点的齐次坐标，κ_l和κ_r为非零尺度因子；为方便阐述也表述为也表述为根据多视图几何理论，左相机在两个视角处拍摄的同名匹配点满足：(ql2)TEl-lql1=0---(3)]]>其中E_l-l为表征左相机在两个测量视角之间相对位姿的本质矩阵，(g)T这里表示对向量进行转置；同理，右相机在两个测量视角下拍摄的同名匹配点满足：(qr2)TEr-rqr1=0---(4)]]>其中E_r-r为表征右相机在两个测量视角之间的位姿关系的本质矩阵；由于双目立体测量系统在不同视角进行测量时，两个相机的相对位姿保持不变，因此两个相机在两次测量中的几何变换关系是一致的，即可以记为：E＝E_l-l＝E_r-r                 (5)因此，可以联立式(3)和式(4)中的两个方程，得到：(q²)^TEq¹＝0                    (6)其中q¹和q²为同名匹配点对，且的每个匹配点对都通过(6)式共同构成关于E矩阵的方程组；上述q¹代表和q²代表和p¹代表和p²代表和由于这里的本质矩阵E可由两个视角间的旋转矩阵R和平移向量T＝[t_x t_y t_z]^T来表示：E=R·0-tztytz0-tx-tytx0---(7)]]>因此只要有5个以上的同名匹配点对即可求解，即只要就可以求解出E矩阵，这里|·|表示集合所含元素的个数；对求得的E矩阵进行分解，得到立体传感器在测量视角1和视角2之间的旋转矩阵R和归一化的平移向量T′；步骤3：两测量视角之间平移尺度求解步骤2只得到了归一化的平移向量T′，本步骤确定它与实际的平移向量T之间相差的固定比例因子s；对于集合中的匹配点对若集合中存在即存在则根据双目立体系统的标定参数，由重建实际场景中的三维点坐标，记为同时根据上面求出的位姿R、T′，重建归一化的三维坐标同样，若集合和中的特征点对存在则根据双目立体系统的标定参数，由重建实际场景中的三维点坐标同时根据上面求出的位姿R、T′，重建归一化的三维坐标上述和X′_l-l是建立在左摄像机坐标系下的三维坐标，而对于摄像机坐标系下的X′_r-r也可由双目立体结构的外部几何参数信息转换到坐标系下，以下不做特别说明X′_r-r也表示坐标系下的三维坐标；这样，可以得到实际场景中的三维点集和归一化三维点集{X′_i|i＝1，L，m}＝{X′_l-l}U{X′_r-r}，这两个点集之间的尺度同样相差比例因子s；因此，s可以由式(8)确定：s=Σi=1m||Xi-1mΣi=1mXi||Σi=1m||Xi′-1mΣi=1mXi′||---(8)]]>这里||·||表示求向量的模长，m是并集中元素的个数；要使式(8)有意义，需满足至此，将s与归一化平移向量T′相乘，就可获得不同测量视角之间立体传感器的绝对平移向量T＝sT′                  (9)步骤4：两视角立体传感器相对位姿优化本步骤进一步利用多视角测量中重建出的三维特征点及其在各幅图像中的像点与立体传感器相对位姿之间的几何约束关系，以步骤2和步骤3中获得的结果R、T作为初值，两步优化确定立体传感器的最终相对位姿；第一步优化以集合中的所有匹配点对建立最小化目标函数：min(Σi=1nll||pl-l2i-p^l-l2i(R,T)||+Σi=1nrr||pr-r2i-p^r-r2i(R,T)||)---(10)]]>其中，分别是中的匹配像点经双目立体模型重建出的三维点再投影到图像上的图像坐标，和是在图像上识别出的相应特征点的真实图像坐标，n_ll、n_rr为集合中元素的个数，优化变量R、T的初值已由步骤3得到；第二步优化是为了进一步提高测量系统的拼合精度，将特征点的三维坐标也松弛为优化变量，同时为了尽量利用更多的约束提高迭代结果的可靠性，将能够对两个测量视角之间的相对位姿起有效约束作用的集合中的同名匹配点对均重建出三维坐标点，并将这些三维坐标点分别投影到和图像上，相应的再投影误差都计入本次优化过程，最小化目标函数min(Σj=14Σi=1N||pji-p^ji(R,T,Xi)||)---(11)]]>其中Xⁱ，i＝1，2，L，N是视角1和视角2下重建出的所有三维特征点，是Xⁱ再投影到第j幅图像上的图像坐标，这里的第j幅图像(j＝1，L，4)依次代表图像和(11)式的目标函数中R，T，Xⁱ是优化变量，其中R和T的初始值由上一步优化的结果得到，而各三维特征点坐标的初始值Xⁱ由相应的匹配点对重建所得；如果Xⁱ点在第j幅图像上未提取出相应的图像点，即不存在，则(11)式中取也就是该点在第j幅图像上的再投影误差不计入目标函数；目标函数式(10)和式(11)采用非线性优化方法迭代求解最终得到优化后的旋转矩阵R和平移向量T；步骤5：多视角立体传感器相对位姿的整体优化在利用步骤1～步骤4的方法确定了两两视角之间相对位姿参数后，进行k个视角相对位姿的整体优化，以进一步减小拼合的累积误差，整体优化的目标函数为min(Σj=12kΣi=1N||pji-p^ji(R2-1,T2-1,R3-1,T3-1,L,Rk-1,Tk-1,Xi)||)---(12)]]>其中Xⁱ，i＝1，2，L，N是各个视角下重建出的所有三维特征点，是Xⁱ再投影到第j(j＝1，2，L，2k)幅图像上的图像坐标，是Xⁱ点在图像j上识别出的真实图像坐标，R^2-1，T^2-1，R^3-1，T^3-1，L，R^k-1，T^k-1分别是视角2，3，...，k相对于视角1的旋转矩阵和平移向量。(12)式目标函数中的R^2-1，T^2-1，R^3-1，T^3-1，L，R^k-1，T^k-1和Xⁱ是优化变量，其中R^2-1，T^2-1，R^3-1，T^3-1，L，R^k-1，T^k-1的初始值已由两视角拼合步骤得到，而各三维特征点坐标的初始值Xⁱ也已由相应的匹配点对重建所得。如果Xⁱ点在第j幅图像上未提取出相应的图像点，即不存在，则(12)式中取pji=p^ji(R2-1,T2-1,R3-1,T3-1,L,Rk-1,Tk-1,Xi);]]>目标函数式(12)采用非线性优化方法迭代求解。