[发明专利]无人机航拍视频实时全景图拼接方法

说明书

技术领域

本发明涉及视频图像全景图的拼接，尤其涉及采用现代视频场景拼接技术与无人机飞行控制系统相结合的无人机航拍视频实时全景图拼接方法。

背景技术

近年来，随着自动控制、无线传输等技术的发展，无人机在军事、民用上都发展迅速。由无人机搭载摄像机进行视频拍摄在军事侦察、广告摄影、灾情判断等方面发挥了巨大作用。但是，由于摄像机的拍摄范围和分辨率之间总是存在着分歧，往往整个飞行过程的视频中包含整个场景的全部信息，而单帧图像的信息却非常有限，从而诞生了视频图像拼接技术。视频图像拼接技术是将视频序列图像转化为一幅包含该序列所有信息的大视场宽视角的全景图像，解决了因摄像设备限制而存在的拍摄角度小、无法全景观测的问题。

由于无人机飞行拍摄时距离地面较远并且垂直对地拍摄，因此可以合理的将图像假设为由光轴互相平行的相机拍摄得到的，图像之间仅存在位移变换。20世纪90年代有从业者Heung-Yeung Shum(Heung Yeung Shum，Rendering with concentric mosaics.Proceeding of SIGGRAPH’99，Los Angeles，California：1999.8-13)(译为：同心圆视图渲染)提出同心圆拼图，目前研究技术相对成熟，拼接效果也较好，得到了广泛使用。但这种方法是基于特定摄像机运动的，即相机需要用三脚架固定在所拍摄景物中心位置，显然不适用于我们的无人机载摄像机视频图像拼接。另有从业者D.Lowe(Matthew Brown，David G.Lowe，Automatic Panoramic Image Stitching using Invariant Features，IJCV 2007)(译为：采用不变性特征的自动全景图像拼接)为苹果公司的iPhone手机设计了Autostitch场景图像拼接系统，其主要步骤是：1、采用SIFT方法进行图像帧的特征检测；2、采用k-d树进行相邻图像帧搜索和特征点匹配；3、利用匹配结果采用RANSAC方法进行图像之间的单应计算；4、对所有图像进行捆绑调整，优化帧图像在全景中的位置；5、多频带图像融合。

另外，比较成熟的图像全景拼接软件还有Hugin(http://hugin.sf.net.)和autopano-sift(http://user.cs.tu-berlin.de/～nowozin/autopano-sift/index.html).其主要思想跟Autositch类似。存在的主要问题有：1、这些拼接方法都是对已经获取的图像集进行拼接，无法实现无人机边飞行边拼接的效果，2、这些软件都只适合图像集数目较少的场景恢复，无法处理时序很长的图像序列，3、采用SIFT进行特征检测和全图像帧捆绑调整策略，时间效率低。

传统的在飞行时序上边飞边拼接算法通常采用帧到帧方式，通过局部对准过程将相邻图像依次连接起来，具体步骤为：首先对相邻图像进行特征点提取，再进行特征点匹配，然后根据得到的匹配点集，进行两图像间平面运动变换的鲁棒估计，由此得到一系列局部变换矩阵T_i，i+1，即i帧图像和i+1帧间的变换矩阵。若选择第一帧图像为参考帧(即全景图像)后，第k帧(2≤k≤N)图像到全景图像间的变换矩阵可由下式得到：

Tref,k=Πi=1k-1Ti,i+1---(1)]]>