[发明专利]一种基于多个广角摄像头的无人机避障装置及其避障方法

说明书

本发明公开一种基于多个广角摄像头的无人机避障装置及其避障方法，装置包括：多个广角摄像头，位于机身不同位置的广角摄像头实时采集广角视频数据；畸变矫正模块，对采集的广角视频数据进行实时的畸变矫正处理；深度检测模块，用神经网络检测畸变矫正过后的广角视频数据，输出深度图；RGB‑D SLAM处理模块，将畸变矫正后的广角视频数据和深度图处理为RGB‑D数据，数据输入到RGB‑D SLAM处理模块，输出前方障碍物三维重建数据与自身位姿估计数据；路径规划与避障模块，知道场景中障碍物与自身的位置信息后，该路径规划与避障模块为无人机规划路径。通过本发明的无人机避障装置实现的避障方法成本低，识别范围广，且检测速度快，准确度高。

技术领域

本发明属于无人机避障领域，更具体地说，是一种基于多个广角摄像头的无人机避障装置及其避障方法。

背景技术

随着无人机的应用越来越广泛，无人机飞行过程中的安全也越显重要。无人机在未知环境或在室内进行巡航、抢险救灾等任务下由于环境复杂未知、GPS信息较弱，如何进行自主飞行且有效地躲避障碍物成为了急需迫切解决的问题。

目前，无人机的避障技术中最为常见的是红外线传感器、超声波传感器、激光传感器以及视觉传感器。无人机在飞行过程中，通过其传感器收集周边环境的信息，测量距离从而做出相对应的动作指令，从而达到避障的作用。

红外和超声波技术，因为都需要主动发射光线、声波，所以对于反射的物体有要求，比如：红外线会被黑色物体吸收，会穿透透明物体，还会被其他红外线干扰：而超声波会被海绵等物体吸收，也容易被桨叶气流干扰。而且，主动式测距还会产生两台机器相互干扰的问题。相比之下，虽然视觉避障也对光线有要求，但是对于反射物的要求要低很多，普适性更强。最重要的是，常见的红外和超声波目前都是单点测距，只能获得特定方向上的距离数据，而视觉传感器可以在小体积、低功耗的前提下，获得眼前场景的比较高分辨率的深度图，这就让避障功能有了更多的发展空间，比如避障之后的智能飞行、路径规划等。

激光技术虽然也能实现类似视觉传感器的功能，但是受限于技术发展，目前的激光元件普遍价格贵、体积大、功耗高，应用在普通的无人机上既不经济也不实用。

现阶段已经实现大规模商用的视觉避障技术是双目视觉避障，即利用提前校准好的双摄像头同时拍摄同一场景，利用双目视差信息得到环境深度信息，从而生成环境三维地图实现避障效果。但双目避障技术有效探测视野狭窄，双摄像头需要搭配处理双目视频数据的芯片，导致成本较高。且为实现良好的避障效果，无人机前方、后方、左右两侧都需要搭载双摄像头，进一步增加了避障的成本。

近年来，基于单目视觉的图像深度信息检测取得了很大的进展，利用基于神经网络的深度学习方法，人们已经实现了利用单个摄像头实时检测视频数据的深度信息。

发明内容

为了降低双目视觉避障的成本，以及提高无人机的避障效果，本发明提供一种基于多个广角摄像头的无人机避障装置及其避障方法。

本发明可通过以下技术方案予以实现：

一种基于多个广角摄像头的无人机避障装置，所述装置包括：

多个广角摄像头，位于机身不同位置的广角摄像头实时采集广角视频数据；

畸变矫正模块，对采集的广角视频数据进行实时的畸变矫正处理；

深度检测模块，用神经网络检测畸变矫正过后的广角视频数据，输出深度图；

RGB-D SLAM处理模块，将畸变矫正后的广角视频数据和深度图处理为RGB-D数据，数据输入到RGB-D SLAM处理模块，输出前方障碍物三维重建数据与自身位姿估计数据；

路径规划与避障模块，知道场景中障碍物与自身的位置信息后，该路径规划与避障模块为无人机规划路径，规划路径的过程中实现避障。

其中，所述广角摄像头为4个。