[发明专利]基于多旋翼无人机航拍视频的帧间场景匹配方法及装置

说明书

本发明公开了基于多旋翼无人机航拍视频的帧间场景匹配方法及装置，所述方法包括：从两个视频帧中截取目标区域图像；采用稀疏光流法从目标区域图像中提取特征角点对；根据各个特征角点对的第一几何空间距离、目标区域图像的“井字区域划分和特征角点对组合，筛选出目标特征角点对组合；根据透视变换矩阵计算变换后的目标特征角点对两角点之间的第二几何空间距离，并进一步计算每个目标特征角点对组合中所有目标特征角点对的加权距离之和；将加权距离之和最小的目标特征角点对组合结果作为最终的匹配结果。本发明能够有效应对多旋翼无人机成像装置复杂多变的运动拍摄状态，无需依赖多旋翼无人机及其成像装置的飞行数据或姿态参数。

技术领域

本发明涉及图像处理技术领域，尤其涉及基于多旋翼无人机航拍视频的帧间场景匹配方法及装置。

背景技术

航拍又称空中摄影或航空摄影，是指从空中对地球地貌、城市景观、人物等方面进行摄影摄像活动。目前，无人机航拍已经被广泛运用于军事、交通建设、水利工程、生态研究、电视栏目和艺术摄影等方面。

但是，在对现有技术的研究和实践过程中，本发明的发明人发现，现有业界的无人机航拍场景匹配方法一般需依据成像装置飞行数据或参数来进行诸如空中三角测量等的三维数据计算，而学界现有的不依赖成像装置参数的场景匹配方法则假设两次或多次拍摄的场景均是在同一个空间位置的拍摄参数和角度不同的成像装置所拍摄。也就是说，现有技术并不能有效应对对多旋翼无人机成像装置复杂多变的运动拍摄状态，严重依赖多旋翼无人机及其成像装置的飞行数据或姿态参数，且必须刻意限制多旋翼无人机的飞行操控。

发明内容

本发明实施例所要解决的技术问题在于，提供基于多旋翼无人机航拍视频的帧间场景匹配方法及装置，能够有效应对多旋翼无人机成像装置复杂多变的运动拍摄状态，无需依赖多旋翼无人机及其成像装置的飞行数据或姿态参数。

为解决上述问题，一方面，本发明的一个实施例提供一种基于多旋翼无人机航拍视频的帧间场景匹配方法，适于在计算机设备中执行，至少包括如下步骤：

从待处理视频中提取相邻的两个视频帧，并对两个视频帧进行鱼眼畸变矫正后，截取各自的目标区域图像；

利用Harris角点检测器，对前一视频帧的目标区域图像进行特征角点检测，并提取显著性特征角点；

根据显著性特征角点，采用稀疏光流法在后一视频帧的目标区域图像中检测与显著性特征角点对应的新的特征角点，并提取满足帧间场景匹配条件的显著性特征角点和对应的新的特征角点，作为特征角点对；

计算各个所述特征角点对的第一几何空间距离，并根据所述几何空间距离绘制直方图，继而根据所述直方图的峰值对所述直方图进行区域划分，筛除所述直方图峰值小于预设阈值的区域中的特征角点对；

对目标区域图像进行“井”字区域划分，以根据区域划分结果对所有剩下的特征角点对进行组合，并进一步筛选出满足帧间场景匹配条件的目标特征角点对组合；

根据目标特征角点对组合的基本参数，计算相应的透视变换矩阵，并根据透视变换矩阵，计算变换后的每个目标特征角点对组合中的所有目标特征角点对两角点之间的第二几何空间距离；

对第二几何空间距离和第一几何空间距离求商后，计算每个目标特征角点对组合中所有目标特征角点对的加权距离之和；

将加权距离之和最小的目标特征角点对组合对应的目标特征角点对及对应的透视变换矩阵作为最终的匹配结果。

进一步的，相邻的两个视频帧间隔不超过30帧：

进一步的，对两个视频帧进行鱼眼畸变矫正后，截取各自的目标区域图像，具体为：

通过成像装置的参数矩阵对视频帧进行鱼眼畸变矫正，得到矫正图像；

将矫正图像进行横向三等分，截取中间区域的图像，得到目标区域图像。