[发明专利]全景图像拼接方法

说明书

本发明公开了一种全景图像拼接方法，包括：提取待拼接图像A与待拼接图像B的特征点，并进行特征匹配，利用待拼接图像B的深度信息为匹配后的特征点按深度分层，并计算各层的变换矩阵，从而对待拼接图像B进行变换，获得多幅候选拼接图像；利用待拼接图像B的深度信息获取指引图，计算每一幅候选拼接图像与图像A的缝合线，从幅候选拼接图像中选出与图像A的对齐部分，将对齐部分迭代式与图像A结合起来得到最终的拼接结果。该方法能够更为有效的解决视差问题引起的鬼影，提升了拼接效果。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种全景图像拼接方法。

背景技术

全景图像拼接方法以AutoStitch(Brown,M.,Lowe,D.G.:Automatic panoramicimage stitching using invariant fea-tures.International journal of computervision 74(1),59–73(2007))为里程碑，各路拼接软件和应用也应运而生，如opencv中的stitcher类、Image Composite Editor(ICM)、PTGui。但由于拍摄时经常会有视差的存在，导致AutoStitch方法无法将图像重叠区域完全对齐，从而导致拼接结果出现鬼影。

后续方法主要从两个方面来缓解该问题。

一方面，以重叠区域对得更齐为目标，对于该方面：通过增加变换矩阵的个数来实现更好的对齐，例如，Zaragoza等人提出的方法(Zaragoza,J.,Chin,T.J.,Brown,M.S.,Suter,D.:As-projective-as-possible image stitching with moving dlt.In:Computer Vision and Pattern Recognition(CVPR),2013IEEE Conference on.pp.2339–2346.IEEE(2013))、Gao等人提出的方法(Gao,J.,Kim,S.J.,Brown,M.S.:Constructingimage panoramas using dual-homography warping.In:Computer Vision and PatternRecognition(CVPR),2011IEEE Conference on.pp.49–56.IEEE(2011))。或者，借鉴视频去抖的方法，通过引入局部变形来实现更好的对齐。例如，Zhang等人提出的方法(Zhang,F.,Liu,F.:Parallax-tolerant image stitching.In:Proceedings of the IEEEConference on Computer Vision and Pattern Recognition.pp.3262–3269(2014))。

另一方面，以后处理来缓解鬼影的产生，对于该方面：在重叠区域寻找一条合适的缝合线，使得线两边内容分别来自放在同一块画布上的左图和右图。例如，Gao等人提出的方法(Gao J,Li Y,Chin T J,et al.Seam-Driven Image Stitching[C]//Eurographics(Short Papers).2013:45-48)。

将以上两个方面结合起来的方法：Lin K等人提出的方法(Lin K,Jiang N,CheongL F,et al.Seagull:Seam-guided local alignment for parallax-tolerant imagestitching[C]//European Conference on Computer Vision.Springer,Cham,2016:370-385)。