[发明专利]基于ORBSLAM的无人机视频影像实时定向与生成稀疏点云的方法

摘要

本发明公开了一种基于ORBSLAM的无人机视频影像实时定向与生成稀疏点云的方法，该方法采用二维拉普拉斯算子进行模糊度检测从而剔除模糊帧，并采用相位相关算法进行运动估计，初步剔除位移较小的帧，从而减少了特征匹配的运算量；在闭环检测与图优化部分，提出了一种自适应的阈值的闭环检测算法，并利用感知哈希算法对影像的相似性进行加权处理，改善了构建图的连通性，从而提升了闭环检测与图优化的可靠性与精度。本发明方法基于ORBSLAM框架，考虑到无人机视频数据的特殊性，从关键帧选取、闭环检测、图优化三部分进行了改进，实现了无人机图传视频影像实时定向与点云生成。

主权项

1.一种基于ORBSLAM的无人机视频影像实时定向与生成稀疏点云的方法，其特征在于，包括以下步骤：1)实时采集获取无人机视频影像帧；2)使用改进的关键帧选取方法选取关键帧；具体如下：2.1)对输入的影像帧进行模糊度检测，将检测到的模糊帧剔除；采用各向同性微分的拉普拉斯算子进行模糊度检测，将个二维图像f(x,y)的拉普拉斯算子定义为：在二维图像上，其离散的表达方式为：用一个卷积核来表示这个滤波器：对作拉普拉斯算子卷积后的图像求均值，将均值作为模糊度检测的判定指标，将检测到的低于均值的模糊帧剔除；2.2)采用相位相关算法进行图传视频帧运动检测，剔除运动位移较小的帧；对于两张仅存在平移变换的影像，假设f₁(x,y),f₂(x,y)分别为连续的两帧，由于相邻两帧姿态变化很小且相机距离场景较远，认为f₂(x,y)是f₁(x,y)平移(Δx,Δy)得到，即:f₂(x,y)＝f₁(x‑Δx,y‑Δy)根据傅里叶变换到频域，表示为：F₂(x,y)＝F₁(u,v)*e^{‑2πi(uΔx+vΔy)}互功率谱(cross‑power spectrum)可表示为：对互功率谱作反傅里叶变化得到归一化的互相关系数r(Normalized Cross‑Correlation)：r＝F^‑1(H(u,v))在无噪声的情况下，该值只有在(Δx,Δy)处取极大值，通过寻找这个系数的峰值来找到对应点的坐标，因而求得平移量(Δx,Δy)，平移量大小若平移量dist小于设定阈值，则剔除该帧；对于存在旋转和平移的两张影像，假设图像f₂(x,y)是图像f₁(x,y)经平移(Δx,Δy)、旋转角度后得到的图像，用下面公式表示为：根据傅里叶旋转平移特性，FFT变换后两图像间的关系如下：由上式看出F₁,F₂能量是相同的，把直角坐标转到极坐标可表示如下：再由仅存在平移影像部分所述的方法，在极坐标系下用相位相关可求出旋转角度最后对图像以角度做旋转，旋转得到图像与原图再次用仅存在平移影像部分所述的方法就可求出图像间的平移参数；3)采用ORBSLAM中的求解影像位姿的方法，获取关键帧的位姿；4)闭环检测；取新加入关键帧与相邻关键帧的共有单词数为N₀，与新加入关键帧重叠度为50％的临近关键帧共有单词数为N₁，取比例系数k＝N₁/N₀；在根据BOW特征共有单词数目筛选可能经过的位置时，将共有单词数最大的k倍设为阈值，即是选取重叠度在50％以上的关键帧为候选帧；取新加入关键帧与相邻关键帧的BOW Score为S₀，与新加入关键帧重叠度为50％的临近关键帧的BOW Score为S₁，取比例系数l＝S₁/S₀；则在根据BOW Score选取闭环帧时将新加入关键帧与共视关键帧BOW Score的最高分的l倍设为阈值；5)优化并更新闭环内的位姿图，完成影像定向；对优化更新闭环位姿图部分中的定权部分进行了改进，具体如下：5.1)计算图传视频帧的哈希指纹，方法如下：5.1.1)缩小图像尺寸至宽度200至300像素，以减少计算量；5.1.2)将图像转化成灰度图像，并截取图像的正中间部分，获得一个正方形的新图像，用于进行DCT变换；5.1.3)计算截取后新图像的DCT变换，得到DCT系数矩阵；5.1.4)缩小DCT，只保留左上角8×8的矩阵，这个区域保存了图片的低频信息；5.1.5)计算步骤5.1.4)中8×8矩阵的均值，对于该矩阵上各个数值，若大于均值设为1，小于均值则设为0，得到64位的哈希指纹；5.2)计算图优化权重，方法如下：5.2.1)新加入关键帧后，将该帧作步骤5.1)的pHash处理得到其64位的pHash指纹并保存起来；5.2.2)搜索与该帧相关的关键帧，即根据地图点中的该点被哪些关键帧观测到的属性，搜索同名点数量大于阈值的关键帧；5.2.3)计算新加入关键帧与搜索得到的关键帧的pHash指纹间的汉明距离；5.2.4)将计算所得的汉明距离排序，并根据最大值与最小值作归一化处理；5.2.5)取汉明距离的归一化值与同名点数量的乘积作为改进的权重；6)根据影像位姿，利用多视图前方交会三角测量方法，生成稀疏点云。