[发明专利]基于局部反馈机制与稀疏全局调整的航拍图像拼接方法

摘要

本发明公开了一种基于局部反馈机制与稀疏全局调整的航拍图像拼接方法，主要解决对特征点不明显的高原地区无人机航拍视频图像采用常规方法拼接易出现误配、失配的问题。其首先对图像进行SIFT特征提取和匹配，若通过特征匹配能建立图像变换模型且配准效果较好，则继续拼接下一帧图像；若提取SIFT特征后，特征匹配对不足以建立图像变换模型，或足以建立图像变换模型但图像拼缝处有明显错位，则建立一种局部反馈机制，对前两次的拼接进行反馈调节；若反馈调节失败，则利用无人机惯导数据信息进行图像配准，继续拼接至最终拼接出一幅全景图；最后利用拼接图像特征点间的对应关系建立优化目标函数，对全景图进行稀疏全局调整，改善全景图效果。

主权项

基于局部反馈机制与稀疏全局调整的航拍图像拼接方法，其特征在于：首先，根据SIFT特征提取算法，提取无人机侦察视频图像的SIFT特征点并利用特征点进行特征匹配从而得到图像之间的几何变换关系；在对无人机侦察视频图像进行SIFT特征提取和匹配过程中，一旦出现无人机侦察视频图像的SIFT特征点少，特征匹配对不足以建立几何变换模型，或足以建立几何变换模型但图像拼缝处有明显错位，就利用无人机惯导系统获取的辅助信息数据对前两次的拼接进行反馈调节，建立了一种局部反馈机制，包括如下步骤：1)根据无人机惯导系统所记录的惯导数据中获得图像的坐标信息，将图像投影到WGS84坐标系下，确定图像在拼接图中的粗略位置和图像间的变换参数；2)根据图像I_n在拼接图中的粗略位置控制偏差在20个像素以内，对目标图像I_n‑1和I_n‑2进行旋转、平移等局部微调操作；假设第n次拼接时需进行反馈调节，根据建立的局部反馈机制，将对第n‑1次拼接和第n‑2次拼接进行调节；选取第一帧图像作为参考图像，用I₀表示，从第二帧开始的无人机视频图像序列作为目标图像，表示为I_i(i＝1,2,3…)；每次拼接后得到的拼接图像表示为M_i(i＝1,2,3…)；其次，建立了一个优化目标函数，通过求解优化目标函数对拼接全景图进行稀疏全局调整，包括如下步骤：1)对于无法通过特征匹配得到单应矩阵的这些图像，利用通过坐标信息得到的变换参数对这些图像提取出来的少数稀疏的特征点进行坐标变换，确定它们在全景图中的位置；2)对于其他特征信息丰富，能通过特征匹配建立图像变换模型的图像中的特征点，通过这些特征点之间的对应关系和它们与通过坐标信息进行坐标变换的特征点之间的对应关系，建立优化目标函数f(X)；优化目标函数f(X)定义为$f\left(X\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{e}_i^T{e}_i---\left(1\right)$其中：$e_i=\left\{\begin{array}{cc}{P}_{i,m}^f-T_n\left(P_{i,n}\right)& i=1,...,N_f\\ T_r\left(P_{i,r}\right)-T_s\left(P_{i,s}\right)& i=N_f+1,...,N\end{array}\right.---\left(2\right)$N_f表示利用坐标信息的图像与利用特征信息的图像之间的特征对应个数；表示利用坐标信息得到的图像变换参数对图像中的特征点坐标变换后的坐标，在式(2)中为常量；T_n(P_i,n)表示用通过特征匹配的M_u帧图像中的第n帧图像的变换参数X_n对该图像中的一个特征点P_i,n进行坐标变换的坐标；是利用坐标信息的图像与利用特征信息的图像之间的一对匹配的特征点；(P_i,r,P_i,s)是利用坐标信息的图像之间的一对匹配的特征点；其中X_i表示M_u帧图像中第i帧的图像变换参数，由其对应的单应矩阵H中的8个参数组成的列向量构成；3)以全部图像通过坐标信息得到的变换参数作为初值，用最小二乘法(LM)进行求解；令A＝J^TJ+λE，A表示一个稀疏矩阵，λ表示任意两幅无法通过特征匹配得到单应矩阵的图像，它们的中心点之间的距离与图像的长边的比，本发明中λ的值取1.5，E表示单位矩阵，J表示雅克比矩阵；4)LM算法通过线性方程AΔX＝‑J^Te迭代求解X，其中：5)利用矩阵A的稀疏特性，使用直接稀疏cholesky分解方法求解式AΔX＝‑J^Te；6)根据解X，能够得到稀疏全局调整后每幅图像的变换矩阵H'，将图像通过H'都变换到同一平面即得到优化后的拼接全景图。