[发明专利]一种基于全景图的相机位姿估计方法

权利要求书

1.一种基于全景图的相机位姿估计方法，其特征在于，该方法包括以下步骤：

步骤1、特征提取：利用ASIFT算法，提取作为输入数据的每一张全景图上的特征点信息；特征点信息包括图中二维特征点的坐标值和此特征点的描述子，描述子是表示特征点的方向信息；

步骤2、特征匹配：对作为输入数据的全景图进行两两组合匹配特征点，匹配方法是利用特征点的描述子，遍历两张图中每一个特征点，使用特征点的描述子进行点积运算，若得到的点积结果小于预设的阈值，即为匹配特征点对，保存结果；

步骤3，估计所选取的两张初始化的全景图的相机位姿，两张初始化的全景图的选取策略为：根据每一张图与其他图的匹配特征点的总数量，从大到小排列图片，选择匹配特征点数量最多的图片作为第一张图片，之后从剩下的图片中选择与确定的第一张图片匹配特征点数量最多的图片，作为第二张图片；利用两张全景视图之间的对极几何关系计算本质矩阵E，公式如下：

x₁^TEx₂＝0

其中，x₁和x₂分别表示两张初始图中的匹配特征点对应的二维坐标，T表示x₁坐标的转置，E表示本质矩阵；

分解本质矩阵E得到旋转矩阵R和平移向量t，R和t表示的就是相机的位姿，其中旋转矩阵R和平移向量t的结果表示为如下公式：

其中，旋转矩阵R中的参数表示相机中心绕世界坐标系中x、y、z坐标轴之后得到的数据，平移向量t中参数表示相机中心对应于世界坐标系下x、y、z坐标轴的数据；

利用二维特征点射线与相机坐标系下的三维特征点射线重合的关系，恢复空间中的三维特征点X，其中得到的是三维特征点X在世界坐标系中三维坐标表示，公式如下：

x·(RX+t)＝0

其中，x表示二维特征点的坐标，X表示未知的世界坐标系下的三维特征点坐标，R表示旋转矩阵，t表示平移向量；

步骤4、估计新添加的全景图的相机位姿：添加新的一张图片的策略是根据比率r来对剩下的图片序列进行排序，计算剩下每一张图片的比率r，然后从小到大排列r，每一个比率r对应着一张图片的序号，就相当于对图片序号进行了排序，比率r表达式如下：

得到图片序列后，按照顺序每添加一张图片，就要估计此张图片的相机位姿，同样利用二维特征点射线与相机坐标系下的三维特征点射线重合的关系，计算位姿，公式如下：

x·(RX_新+t)＝0

其中，未知数是旋转矩阵R和平移向量t，X_新表示新添加图片中的二维特征点，利用此二维特征点恢复出空间中三维特征点，构造线性方程组，重新求得旋转矩阵R和平移向量t，它们分别表示如下：

x₁＝(a,b,c)^T,x₂＝(m,n,p)^T,X_新＝(X,Y,Z)^T

利用已知参数和公式x·(RX+t)＝0构造线性方程组，部分线性方程组的表达式如下：

(-cR₂₁+bR₃₁)X+(-cR₂₂+bR₃₂)Y+(-cR₂₃+bR₃₃)Z+(-ct₂+bt₃)＝0

(cR₁₁-aR₃₁)X+(cR₁₂-aR₃₂)Y+(cR₁₃-aR₃₃)Z+(ct₁-at₃)＝0

(-pR₂₁+nR₃₁)X+(-pR₂₂+nR₃₂)Y+(-pR₂₃+nR₃₃)Z+(-pt₂+nt₃)＝0

(cp-mR₃₁)X+(pR₁₂-mR₃)Y+(pR₁₃-mR₃₃)Z+(pt₁-mt₃)＝0

……

其中，T表示坐标的转置，a,b,c,m,n,p,X,Y,Z表示坐标值；

步骤5，对估计到的所有图片的相机位姿和三维特征点坐标进行捆绑调整优化：捆绑调整优化的目的是最小化重投影误差，球面两点之间弧线对应的切平面上两点之间的直线距离作为误差距离d来近似估计，误差距离d用如下公式计算：

其中，m表示原始二维特征点的二维坐标，M表示二维特征点对应的三维特征点坐标，||·||表示向量的2-范数，T表示二维坐标的转置；

得到初始化的两张全景图的位姿后，加上部分恢复出的三维特征点，先进行一次捆绑调整优化，保证初始值的误差减小，之后每添加一张图片，进行一次捆绑调整优化，直至最后当所有图片添加成功，进行最后全局的优化调整。