[发明专利]一种基于全景图的相机位姿估计方法

说明书

本发明公开了一种基于全景图的相机位姿估计方法，使用全景图作为输入数据。先对每一张全景图进行特征检测提取，之后两两图像进行特征点匹配；利用匹配特征点的数量，对图片序列进行排序，选择初始化的两张图片，根据对极几何的关系，估计本质矩阵E后分解得到相机位姿的旋转矩阵R和平移向量t；再添加一张新的图片，根据重投影的关系估计新添加的图片的相机位姿R和t；最后，所有图片添加完成后，进行全局的相机位姿和三维特征点的捆绑调整优化，得到最优解。与现有技术相比，本发明对于图像序列是一系列顺序的序列以及网状序列的图像的相机位姿都可以近似求得，即得到的相机位姿的序列与原始图像序列近似。

技术领域

本发明涉及于计算机视觉三维重建技术领域，特别涉及一种利用图像进行增量式的运动恢复结构(Structure-from-Motion)来实现全景图的相机位姿估计的方法。

背景技术

获取全景或者球形全景图已成为场景记录和可视化的常见做法，并且与使用鱼眼镜头的标准全向摄像机或使用曲面镜的折反射系统相比，球面成像不仅限于半球形视场，而是从空间中的单个点捕获360°×180°全景的完整场景。因此，一张全景视图获得的场景信息比一张传统的平面图像多，若使用全景图进行场景的重建，可能利用少数几张全景图重建的场景信息就比使用大量平面图像重建的场景信息多。另外，360°全景视频在近几年也是获得了巨大的普及，与传统视频相比，它可以获得更大的沉浸感，因为在播放期间选择和改变虚拟的观看方向的时候，较传统窄视场相机拍摄的视频，改变其观看方向更不容易迷失方向，然而进行此虚拟方向的改变前提是先要确定全景视频中每一帧图片所代表相机的位姿，意即解决全景视频的稳定问题，这其中涉及的重要的技术步骤就是求解全景图的相机位姿。

在平面领域，估计相机位姿有三类方法：第一种，使用单目相机得到了两幅二维图像，应用二维与二维之间的对极几何关系求得相机的位姿；第二种，若用双目相机能得到二维图像与三维信息之间的对应关系，转换成了PnP问题，也可以求得相机位姿；第三种，采用运动恢复结构这一思路，利用二维平面与二维平面对极几何信息，以及二维平面与三维信息之间的关系得到相机位姿。这些方法提出了很多实用性的估计相机位姿的方法。

在全景图领域，第一种方法，针对球形全景图像的方向和位置的恢复(Kangni andR.Laganire.Orientation andpose recovery from spherical panoramas.In OMNIVIS,2007)，将球形全景图投影到立方体上，通过计算两两立方体之间的本质矩阵得到相机位姿，应用了室内场景和室外场景的数据信息，对立方体全景图进行对齐，使用其写的算法将不同方向的图像都转换到了同一方向；该方法存在一些问题，如仅仅估计两两相邻的立方体全景图之间的位置关系没有考虑到全局的立方体全景图，可能会有误差的累积；还有只通过2D信息的对应求相机位姿，可能结果不是最优的。第二种方法，使用球形全景图结合运动恢复结构的方法重建出场景(A.Pagani and D.Stricker,“Structure from motionusing full spherical panoramic cameras,”in Proc.OMNIVIS,Nov.2011,pp.375–382.)，研究着重在误差估计模型，但对于相机位姿这方面没有着重研究比较，只是最后偏重于场景的重建，难以看到对于相机位姿的估计是否良好。第三种方法，应用球形视频进行研究(Hao Guan,William A.P.Smith.Structure-From-Motion in spherical VideoUsing the von Mises-Fisher Distribution.In IEEE TRANSACTIONS ON IMAGEPROCESSING,VOL.26,NO.2,2017.)，对每一帧图像加入了特征噪点分布，得到了一个新的球形全景图相机模型，并且使用了新的目标函数以及约束条件贯穿于整个优化过程中。但问题是球形视频是一些有序的图片帧，图像之间改变较少，如果使用一些差别很大的图像或者是一些无序图像，不确定此算法是否能够得到很好的结果。

发明内容

本发明旨在提出一种基于全景图的相机位姿估计方法，实现了相机位姿的序列的估计。