[发明专利]基于ORBSLAM的无人机视频影像实时定向与生成稀疏点云的方法

说明书

本发明公开了一种基于ORBSLAM的无人机视频影像实时定向与生成稀疏点云的方法，该方法采用二维拉普拉斯算子进行模糊度检测从而剔除模糊帧，并采用相位相关算法进行运动估计，初步剔除位移较小的帧，从而减少了特征匹配的运算量；在闭环检测与图优化部分，提出了一种自适应的阈值的闭环检测算法，并利用感知哈希算法对影像的相似性进行加权处理，改善了构建图的连通性，从而提升了闭环检测与图优化的可靠性与精度。本发明方法基于ORBSLAM框架，考虑到无人机视频数据的特殊性，从关键帧选取、闭环检测、图优化三部分进行了改进，实现了无人机图传视频影像实时定向与点云生成。

技术领域

本发明涉及SLAM技术，尤其涉及一种基于ORBSLAM的无人机视频影像实时定向与生成稀疏点云的方法。

背景技术

地质灾害会造成巨大的财产损失和人员伤亡，在灾害发生过程中与发生后及时获取现场信息并转化为有效数据、为救灾提供帮助即为当前头等问题。载人飞机与传统卫星遥感技术因成本和现场环境因素的限制，只有在某些情况下才能满足需求，而无人机系统与之相比有其独特的优势。使用无人机获取航拍视频并实时处理获取有效的地形地貌数据将会给应急救灾领域提供巨大的帮助。

SLAM是Simultaneous Location and Mapping的缩写，即为“同时定位与地图构建”。它是指在没有环境先验信息的基础上搭载某种特定传感器的主体，在运动过程中建立周围环境的模型并同时估计自己的运动。在此讨论的传感器主要为相机，即根据一张张连续运动的图像来推断相机的运动与恢复周围环境的情况，故称为“视觉SLAM”。

只使用一个摄像头进行SLAM的做法称作“单目SLAM”，视频数据即为连续的一帧帧单张相片，而相片的本质为外部环境在成像平面上的一个投影，以二维的相片反映了三维的环境。在投影过程中我们无法通过单张相片来计算场景中物体距离相机投影中心的距离，即损失了深度信息。如果想恢复三维结构则需要改变相机的视角，在单目SLAM中我们通过移动相机来估计它的运动(Motion)，同时估计场景中物体的远近大小，即结构(Structure)。当相机移动时，近处物体在相片上运动快，远处物体则相反，这在逐帧图片上形成了视差。视差可以让我们获得物体的远近信息，但这仍然是一个相对值。所以单目SLAM估计的轨迹和地图，与真实世界相差一个统一的比例，称之为尺度(Scale)。

经典的视觉SLAM框架主要包含了视频信息读取，视觉里程计，后端优化，回环检测以及建图五个部分。其中视觉里程计(Visual Odometry，VO)的主要任务是估算相邻图像间的运动和构建局部地图，又称为前端，提供了各帧位姿信息的初值；后端优化(Optimization)则接收各帧提供的位姿信息初值和回环检测的信息，根据匹配信息的限制对解进行优化，得到全局一致的运动轨迹和地图。回环检测(Loop Closing)负责判断新帧的内容是否为之前经过的部分，从而构成回环，为优化提供了限制条件。建图(Mapping)为SLAM的主要输出，有多种表达形式。可以是点云图或是拼接的影像等等，主要提供了相机的运动轨迹和附近环境的信息。

现有单目视觉SLAM系统中，稳定性、实时性最佳的开源框架为ORBSLAM，但将其应用到无人机视频数据，尚有以下不足：

(1)低空无人机视频中存在由于晃动引起的模糊，模糊帧在特征匹配中所带来的误匹配会对整体结果造成较大影响；

(2)ORBSLAM对每一帧都进行特征匹配，效率较低，影响计算速度；

(3)低空无人机视频数据中地物丰富，而现阶段实时处理通常使用的ORB特征往往分布不均匀(通常植被区域提取的ORB特征很少)。因此，在回环检测阶段根据匹配到的特征点数量来判断两帧之间的关联性会造成图优化中图的断连、图优化缺少回环的限制；

(4)ORBSLAM中图优化仅根据影像重叠区域判断影像的交会角，对于无人机原地旋转的影像会判断为交会角较大，从而提高该类影像的权重，但实际上，因此需要对无人机原地旋转的影像进行降权处理；