[发明专利]基于无人机航迹约束的多航带图像拼接与定位方法

权利要求书

1.基于无人机航迹约束的多航带图像拼接与定位方法，其特征在于，包括以下步骤：

步骤1、数据预处理

读取视频中所有图像的GPS坐标信息，将其转换为UTM坐标之后存入数据容器utmData，从第1帧图像开始，计算前后两帧图像的UTM坐标差值，依次为U₁,U₂,...,U_K-1，并令U_K＝U_K-1，并将所有坐标差值存入数据容器utmDelta中；K为视频中图像总帧数；

对utmDelta中的数据做二值化处理：令悬停处的UTM坐标差值为0，进而将视频中所有图像划分为M条航带；

步骤2、第1条航带拼接

步骤2-1、图像预处理，对每帧视频图像进行灰度化，

步骤2-2、对预处理后图像进行关键帧筛选，得到K₁个关键帧图像；

步骤2-3、图像特征提取，对步骤2-1中得到的每个关键帧图像用SURF算子检测图像特征得到特征点集，并采用BRISK特征描述子对特征点计算生成特征描述向量；

步骤2-4、对第1条航带的第k-1个关键帧f_1,k-1与第1条航带的第k个关键帧f_1,k的特征描述向量进行图像特征匹配，并对匹配结果计算得到透视变换单应性矩阵H_1,k-1；具体为：

1)对第1条航带的第k-1个关键帧f_1,k-1与第1条航带的第k个关键帧f_1,k的特征描述向量进行BF匹配得到初始匹配结果，

2)找到初始匹配结果中相似距离的最小值T_min，据其设置阈值4*T_min，将匹配结果matches中相似距离大于该阈值的匹配对剔除；得到最佳匹配点对集；

3)根据最佳匹配点对集，采用Opencv函数计算得透视变换单应性矩阵H_1,k-1；

步骤2-5、图像拼接

计算第1条航带的第k个关键帧相对于第一帧的单应性矩阵H_1,k＝H_1,k-1*H_1,k-2*,...,*H_1,0；

将第1条航带的第k个关键帧图像的四个角点的坐标通过矩阵H_1,k变换为新坐标，然后将待拼接图像f_1,k更新到全景图的对应位置；并将已拼接图像的像素中心在拼接图像中的位置信息存入数据容器pixelData中，并将该帧图像于数据容器utmData中的UTM坐标值存入数据容器utmInfo；

步骤3、第m,m＝2,...,M条航带拼接

步骤3-1、按照步骤2-1到步骤2-4相同处理过程，得到第m条航带的第k个关键帧的透视变换单应性矩阵H_m,k-1；并利用H_m,k-1得到待拼接图像f_m,k的像素中心点位(x,y)；

步骤3-2、计算第1条航带的斜率，定义为r；从pixelData容器中取出最后一个位置的坐标点作为第m条航带的起始点，定义为(x₀,y₀)，由如下公式计算(x,y)与目标航迹间水平方向的差值x_dst：

再利用x_dst与r可以计算出偏移向量ΔS：

/

步骤3-3、，利用偏移向量矫正原透视变换单应性矩阵H_m,k-1，得到H′_m,k-1：

步骤3-4、图像拼接

根据如下公式计算出第m条航带的第k个关键帧相对于第1条航带的第1个关键帧的单应性矩阵：

将第m条航带的第k个关键帧的四个角点的坐标通过H_m,k变换为新坐标，然后将待拼接图像f_m,k更新到全景图的对应位置；并将已拼接图像的像素中心在拼接图像中的位置信息存入数据容器pixelData中,并将该帧图像于数据容器utmData中的UTM坐标值存入数据容器utmInfo；

步骤4、全景图任意点GPS定位

拼接完成后，为了提高定位精度，回避了成像的空间几何过程，直接对图像变形进行数学模拟，具体步骤如下：

步骤4-1、数据容器utmInfo中的坐标点与数据容器pixelData中的像素点为一一对应，构成匹配点对，利用Opencv函数estimateRigidTransform计算出容器间的映射矩阵；

步骤4-2、已拼接完成全景图中任意点的像素点坐标根据步骤4-1中的映射矩阵计算得到对应的UTM坐标，再转换为GPS坐标，进而实现GPS定位。