[发明专利]基于无人机航迹约束的多航带图像拼接与定位方法

摘要

本发明涉及计算机图像处理与地图测绘领域，具体为一种基于多旋翼无人机航迹约束的多航带视频图像拼接与定位方法，主要用于提高航带间图像的拼接质量和全景图的定位精度；本发明首先对航拍视频中所有图像的GPS信息进行处理，得到航迹信息，然后对待拼接图像进行一系列图像处理操作，求得单应性矩阵，利用该矩阵将待拼接图像映射到拼接图中，最后利用图像与GPS信息一一对应的关系，实现GPS定位功能。该发明能有效改善多条航带平行情况下的图像拼接效果，得到的拼接结果能真实反映出无人机飞行过程中拍摄过的所有景物信息，另外，结合飞行过程中采集的GPS信息，该发明能定位出拼接结果中每个像素点的GPS坐标，定位误差不超过10m。

主权项

1.基于无人机航迹约束的多航带图像拼接与定位方法，其特征在于，包括以下步骤：步骤1、数据预处理读取视频中所有图像的GPS坐标信息，将其转换为UTM坐标之后存入数据容器utmDat a，从第1帧图像开始，计算前后两帧图像的UTM坐标差值，依次为U₁,U₂,...,U_K‑1，并令U_K＝U_K‑1，并将所有坐标差值存入数据容器utmDelta中；K为视频中图像总帧数；对utmDelta中的数据做二值化处理：令悬停处的UTM坐标差值为0，进而将视频中所有图像划分为M条航带；步骤2、第1条航带拼接步骤2‑1、图像预处理，对每帧视频图像进行灰度化，步骤2‑2、对预处理后图像进行关键帧筛选，得到K₁个关键帧图像；步骤2‑3、图像特征提取，对步骤2‑1中得到的每个关键帧图像用SURF算子检测图像特征得到特征点集，并采用BRISK特征描述子对特征点计算生成特征描述向量；步骤2‑4、对第1条航带的第k‑1个关键帧f_1,k‑1与第1条航带的第k个关键帧f_1,k的特征描述向量进行图像特征匹配，并对匹配结果计算得到透视变换单应性矩阵H_1,k‑1；步骤2‑5、图像拼接计算第1条航带的第k个关键帧相对于第一帧的单应性矩阵H_1,k＝H_1,k‑1*H_1,k‑2*,...,*H_1,0；将第1条航带的第k个关键帧图像的四个角点的坐标通过矩阵H_1,k变换为新坐标，然后将待拼接图像f_1,k更新到全景图的对应位置；并将已拼接图像的像素中心在拼接图像中的位置信息存入数据容器pixelData中，并将该帧图像于数据容器utmData中的UTM坐标值存入数据容器utmInfo；步骤3、第m,m＝2,...,M条航带拼接步骤3‑1、按照步骤2‑1到步骤2‑4相同处理过程，得到第m条航带的第k个关键帧的透视变换单应性矩阵H_m,k‑1；并利用H_m,k‑1得到待拼接图像f_m,k的像素中心点位(x,y)；步骤3‑2、计算第1条航带的斜率，定义为r；从pixelData容器中取出最后一个位置的坐标点作为第m条航带的起始点，定义为(x₀,y₀)，由如下公式计算(x,y)与目标航迹间水平方向的差值x_dst：再利用x_dst与r可以计算出偏移向量ΔS：步骤3‑3、，利用偏移向量矫正原透视变换单应性矩阵H_m,k‑1，得到H′_m,k‑1：步骤3‑4、图像拼接根据如下公式计算出第m条航带的第k个关键帧相对于第1条航带的第1个关键帧的单应性矩阵：将第m条航带的第k个关键帧的四个角点的坐标通过H_m,k变换为新坐标，然后将待拼接图像f_m,k更新到全景图的对应位置；并将已拼接图像的像素中心在拼接图像中的位置信息存入数据容器pixelData中,并将该帧图像于数据容器utmData中的UTM坐标值存入数据容器ut mInfo；步骤4、全景图任意点GPS定位拼接完成后，为了提高定位精度，回避了成像的空间几何过程，直接对图像变形进行数学模拟，具体步骤如下：步骤4‑1、数据容器utmInfo中的坐标点与数据容器pixelData中的像素点为一一对应，构成匹配点对，利用Opencv函数estimateRigidTransform计算出容器间的映射矩阵；步骤4‑2、已拼接完成全景图中任意点的像素点坐标根据步骤4‑1中的映射矩阵计算得到对应的UTM坐标，再转换为GPS坐标，进而实现GPS定位。