[发明专利]无人机航拍视频实时全景图拼接方法

摘要

本发明公开了一种无人机航拍视频实时全景图拼接方法。利用视频采集卡采集由无人机通过微波通道实时传回基站的图像，对图像序列进行关键帧选择，对关键帧进行图像增强；在图像拼接过程中，首先采用鲁棒性良好的SURF特征检测方法对图像帧的特征检测和帧间匹配；又采用帧到全景的图像变换方式，减少图像连乘累积误差，并结合无人机的GPS位置信息，确定飞行路径在时序上不相邻但在空间上相邻的图像帧，优化帧到全景的变换关系，确定图像重叠区域，实现图像融合和全景图的构建，实现了边飞边拼接的实时效果；在图像变换时，利用视域上相邻帧信息和空域相邻帧信息，优化图像变换，获得准确的全景图。本发明实时性好、快速准确，适于多领域应用场合需求。

主权项

一种无人机航拍视频实时全景图拼接方法，包括飞行控制系统，其特征是：所述视频实时全景图拼接方法还包括以下步骤：(1)视频图像的传输和采集无人机搭载摄像机对飞行过程的场景进行拍摄，然后通过微波通道将视频实时的传输回控制基站，视频接收机上安装图像采集卡对图像帧进行采集，然后传输给工作计算机，实现图像帧的获取；(2)关键图像帧的选择从采集卡得到的视频图像帧频高，为20‑30帧/秒，采用基于内容的图像关键帧选择技术先对图像进行关键帧的选择后再以该关键帧用于图像的拼接，并记录该关键帧所对应的由GPS提供的位置信息；(3)图像预处理根据实际应用背景不同，将图像增强算法运用到本系统的预处理程序部分，实现自动选择图像增强算法，该方法是采用具有重叠性的分块化双平台操作技术对图像进行去烟雾处理，其具体步骤包括：先对图像进行分块化处理，然后对每一块的灰度值进行统计，分别设置灰度级统计数目的高低平台对统计结果进行削平处理，实现单块图像的增强，这样可以利用相邻块之间的具有重叠区域，实现图像的增强；(4)图像特征提取与配准本方法是采用SURF加速的鲁棒性特征方法进行图像特征点的检测和描述，通过SURF对特征点进行检测和描述后，使每个特征点为一个高维的向量描述符，又采用最近K邻域方法进行特征点的匹配，实现相邻两幅图像的配准；(5)帧道帧的图像变换通过步骤(4)配准得到相邻图像间的匹配点集，通过匹配点集采用RANSAC和L‑M方法来求出两幅图像之间的单应变换矩阵，进行参数估计，获取图像的变换模型，实现帧到帧的变换关系，这样根据无人机垂直对地拍摄并且高度较高，可以假设图像之间为平移关系；(6)帧到全景的变换通过以上步骤，方法得到了帧到帧的变换关系，为实现全景图的构建，必须先实现帧到全景的变换，本方法采用一种基于无人机飞行路径的帧到全景图(frame‑to‑mosaic)的拼接方式，可以直接求取当前帧到全景图像的参考坐标系的变换参数；(7)无人机返回路径时空融合图像帧到全景拼接根据步骤(6)的帧到全景的变换方法结合无人机飞行路径，融合时空两方面的信息，对图像帧的变换计算进行优化，同时利用时空相邻帧信息实现图像帧到全景的变换，这样可以减少图像连乘累积误差，以实现无人机返回路径时空融合图像帧到全景拼接；(8)图像融合生成全景图为了使得重叠区域平滑过渡，提高图像质量，采用线性的淡入淡出方法逐渐过渡，以避免出现明显的边界，本方法的具体步骤包括：在重叠区域由一幅图像线性地过渡到另一幅图像，即将图像重叠区域的灰度值按照一定的权值相加合成新的图像，针对无人机拍摄的彩色图像，分别对红、绿、蓝三个通道进行插值融合，利用渐入渐出的融合算法得到较好的视觉效果，生成能满足该应用场合的全景图。