[发明专利]基于深度相机的室内飞艇定位与避障系统

说明书

提供了基于深度相机的室内飞艇定位与避障系统。所提供的基于深度相机的室内飞艇定位与避障方法，包括：通过在所述室内飞行的飞艇所携带的深度相机捕获视频；从所述视频中提取多个关键帧，每个关键帧包括相关联的特征点与描述子；通过相邻关键帧的匹配的特征点确定所述深度相机的位姿；对连续的多个关键帧与检测到的回环通过非线性优化得到全局一致的所述深度相机的运动轨迹；根据运动轨迹与所述视频建立所述飞艇所处室内场景的地图；根据各关键帧识别关键帧中的障碍物，根据深度相机到识别出的障碍物的距离、方向与所述飞艇的尺寸和速度选择避障策略；以及根据避障策略驱动所述飞艇在所述室内飞行。

技术领域

本发明涉及飞行器技术领域，具体是涉及一种基于深度相机的室内飞艇同时定位与避障方案。

背景技术

无人机在环境的监测、农业勘察和航空摄影等方面用途十分广泛，并且成本较低，从而在市场上得到普及，越来越受到人们的认可。但是无人机高速运转的旋翼裸露在外，一旦发生故障会对周围人群带来伤害，同时其续航性差，因此在人群密集和需要长时间工作的场合使用受到限制。而飞艇本身续航能力强，并且运动速度较慢，艇身由巨大的气囊组成，即使出现故障坠落速度也不会过高，安全性能有保障，因此可以弥补无人机的在室内人群密集场所使用受限的缺点。

室外环境可以用GPS进行定位，成本较低且精度高，但是在室内无GPS信号的条件下则需要通过其他方式来实现定位。对于机器人和无人机来说，在探索未知环境的时候，需要同时解决自身定位和外界感知两个问题。像这样一边估计主体自身位置，一边建立周围环境的模型的方式叫做同时定位与建图(Simultaneous Localization and Mapping)，简称SLAM技术。在SLAM技术中常用的传感器有激光雷达和相机，并依此分为激光SLAM和视觉SLAM。基于激光的方式成熟，可靠性高，建图方式直接。但是激光雷达作为传感器安装要求较高，并且仅能探测到2D平面的障碍物信息，探测不到垂直平面的信息，建立的地图为二维地图，所提供的环境信息有限等问题。相机作为传感器，成本较低并且容易安装，同时可以适用于大部分环境，获取环境的语义信息。语义在此处泛指机器人对周围环境内容的理解，例如了解环境中的物体类别以及它们的关系等。能正确地理解环境的高级语义信息再结合传统的SLAM算法便可以构建出可用的语义地图。如何利用相机实现飞行器的定位，同时获取周围环境的语义信息并为飞行器提供避障策略成为一个关键问题。本申请针对无人机使用受限的室内长时间工作场合，提出一种基于深度相机的室内飞艇定位与避障方案，弥补这一应用空白。

发明内容

本发明的一个目的在于克服现有技术的缺点与不足，在无人机使用受限的室内环境采用飞艇，并基于此提供一种基于深度相机的定位与避障方案。相较于无人机，飞艇具有续航性好和安全的特点，同时相较于传统地图信息缺少的激光SLAM方案，基于深度相机的同时定位与避障方案可以充分利用图像中的语义信息，实现定位并同时根据语义信息提供避障策略。

本发明提供了一种室内飞艇实时的定位和避障方案。定位需要周围环境的信息，同时建图又依赖于自身的位置，是一个同时进行的过程，所以称为同时定位与建图技术。首先通过RGB-D相机获取视频，利用相邻图像间的信息解算相机的位姿，将相机的位姿表现出来即得到相机的运动轨迹。但是仅通过相邻帧计算位姿会产生误差，而地图的建立又依赖于相机的位置，因此要得到全局一致的相机轨迹和地图还需要将得到的位姿进行优化，同时采用回环检测对视频中图像进行相似度比较，检测飞艇是否到达同一位置，如果确认到达同一位置则也将信息输入到优化部分进行优化而消除仅通过相邻关键帧计算位姿产生的误差。另外，由于RGB-D相机可以同时获得彩色图和深度图，在对视频中的关键帧图像利用预先训练好的神经网络模型确定彩色图中的语义信息之后，可以同时根据深度图的深度信息，通过预先设置好的避障方式中选取避障策略。