[发明专利]用于无人驾驶飞行器的基于嵌入式立体视觉的障碍躲避系统

说明书

提供了无人驾驶飞行器利用嵌入式立体视觉技术实现的自动障碍躲避系统的多个实例。一方面，公开了用于执行自动障碍检测和躲避的无人驾驶飞行器，包括连接到一个或多个处理器及存储器的立体视觉摄像机组；该立体视觉摄像机组用于获取一序列立体图像；还包括立体视觉模块，用于接收由一对立体视觉摄像机捕捉的一对立体图像；对该对立体图像执行边框裁剪操作，以获得一对已裁剪立体图像；对该对已裁剪立体图像执行下采样操作，以获得一对下采样立体图像；以及对该对下采样立体图像执行稠密立体匹配操作，以生成对应于该对立体图像的空间的稠密三维点图。

技术领域

本申请一般涉及机器视觉，更具体而言，涉及用于针对无人驾驶飞行器(UAV)或无人机执行有效的障碍躲避飞行控制的系统、设备和技术。

背景技术

近来，民用和商用无人驾驶飞行器(UAV)或无人机(一种微型无人驾驶飞机)备受欢迎并且已在全球范围内获得商业上的成功。无人驾驶飞行器或无人机通常由遥控和/或软件控制，并且利用由多旋翼等生成的空气动力效应在天空中机动飞行，在保持较高稳定性的同时执行已设计的功能，例如监控和包裹邮递。民用UAV或无人机的最受欢迎的应用之一在于航拍，即在被拍照对象上方的有利位置拍摄静止图片或者录制视频。最新推出的民用无人机通常质量较轻且易于控制，从而任何用户都可以安全地操作该无人机。除手动控制功能外，一些高端民用无人机还配备有障碍检测和躲避功能，这些功能为UAV操作提供了必要并附加的安全保障。这些功能使得无人机在障碍物面前停止飞行，或者在必要情况下自动改变飞行路径绕过该障碍物飞行。

人们已经研发出多种基于传感器的障碍物传感技术，用于检测和躲避无人机的障碍物。根据应用的不同，可以采用多种传感器估计飞行中的无人机前方的障碍物的距离或深度，这些传感器可单独使用或者与其他传感器结合使用。例如，飞行时间测距传感器可测量距离可精确至两米；而更昂贵的LIDAR传感器可以检测到二百多米范围内的障碍物。与上文所述及其他类型的传感器相比，采用立体视觉技术可以获取较大的检测范围(达15米)及较低的制作成本。因此，配备有基于立体视觉的障碍躲避特征的无人机已经受到广泛欢迎，例如大疆的精灵PHANTOM 4。

立体视觉系统通常根据两个具有略不同视角的摄像机捕捉的一对图像(也称之为“立体图像”)，以计算三维(3D)信息。基于捕捉的图像估计3D信息的关键步骤之一在于“立体匹配”。立体匹配的目的在于构建一对立体图像中的点对之间的对应性。基于匹配的点对，可计算出视差图。一旦获得该视差图，就可以通过三角法利用该视差图快速获得深度信息和3D信息。其中一个有效的立体匹配技术为半全局块匹配(SGBM)(见赫希穆勒(Hirschmuller)发表的“通过半全局匹配和互信息执行精确且高效的立体视觉处理(Accurate and efficient stereo processing by semi-global matching and mutualinformation)”，IEEE计算机学会计算机视觉和模式识别会议论文集，2005年第807-814页)，该SGBM可生成稳健的稠密立体匹配结果。然而，该SGBM对于诸如无人机的计算资源有限的嵌入式系统而言计算成本太高。例如，通过一些实验证明，在RK339上(采用两个ARMCortex-A72CPU的六核高性能嵌入式平台)利用SGBM技术对一对640×480分辨率图像执行的立体匹配操作，只能以约4.3帧每秒(fps)的速度运行。为了在嵌入式系统中加速执行该基于SGBM的立体匹配操作，可以采用现场可编程门阵列(FPGA)在硬件上执行SGBM操作。该技术在计算752×480像素分辨率的图像的稠密视差图时的处理速度为60fps。然而，在嵌入式系统中采用专用FPGA不可避免地会增加系统的整体成本。