[发明专利]基于自主学习的无人机智能避障方法

说明书

本发明公开了基于自主学习的无人机智能避障方法，使无人机在三维可视化仿真环境中可利用摄像头获取的视觉信息，根据地形高度与障碍物高度，智能自主学习，以训练好的网络模型作为智能体对无人机进行定高飞行控制，实时调整飞行高度，实现自动地形跟随应用，完成自主避障任务。这一发明创建了三维可视化仿真环境，为智能自主避障算法提供了良好的训练环境，实现了人机实时操作的互动接口，并为智能体从仿真环境到真实环境的迁移训练提供了可能性。这一发明为其它深度增强学习算法提供了仿真试验平台，便于智能体进行多种场景、不同任务及多种算法的深度增强训练和测试。

【技术领域】

本发明属于无人机自主避障技术的智能控制与引导系统和方法技术领域，具体涉及一种基于自主学习的无人机智能避障方法。

【背景技术】

避障能力是实现无人机自动化乃至智能化的关键环节，完善的无人机自主避障系统能够及时地避开飞行路径中的障碍物，极大地减少因操作失误造成的无人机损坏和伤及人身和建筑物的事故发生率。

自主避障飞行对于无人机具有非常重要的意义，这可以保证无人机完成复杂的、多功能的高难度动作。无人机避障技术的发展可分为三个阶段，一是感知障碍物并悬停；二是自主绕开障碍物；三是进行场景建模和路径搜索。目前国内外关于无人机避障方面的研究还处于很初级的阶段，一般依赖于三维高程地图、多传感器或者其他高精度设备等技术来实现，如广泛应用的视觉SLAM算法主要以机器人为载体，利用视觉传感器生成障碍物的深度图，据此执行避障动作。但这一算法在图像处理方面需要人为指定需要提取的特征值，且易受光照、障碍物位置等因素影响，鲁棒性较差。一般深度学习方法通过训练大量感知图像，使无人机自己学习障碍物的特征，但由于难以明确障碍物的边界，缺乏正确避障的决策能力。

【发明内容】

本发明的目的在于克服上述现有技术的缺点，提供一种基于自主学习的无人机智能避障方法；本发明使用基于DQN的深度增强学习算法进行控制决策训练，构造分段加权奖励函数获得最优决策，提升了原有方法的鲁棒性，具备高度智能化与自主可控性。

为达到上述目的，本发明采用以下技术方案予以实现：

基于自主学习的无人机智能避障方法，包括以下步骤：

(1)通过三维环境搭建系统搭建无人机处于的虚拟三维可视化仿真环境；三维可视化仿真环境的输入为控制无人机运行动作的决策，输出为下一时刻无人机摄像头拍摄的图像信息；

(2)通过DQN算法在虚拟三维可视化仿真环境中对无人机进行自主避障训练，输出训练好的卷积神经网络；

自主避障训练过程中以无人机摄像头拍摄的图像信息为输入，通过DQN算法中的卷积神经网络模型输出控制无人机运行动作的决策；通过卷积神经网络模型和虚拟三维可视化仿真环境的不断交互，不断更新卷积神经网络模型的权重参数θ，最终输出训练好的卷积神经网络；

(3)通过训练好的卷积神经网络对无人机进行控制，完成无人机飞行过程中的自主避障任务。

本发明的进一步改进在于：

优选的，步骤(1)中，所述三维环境搭建系统为AirSim系统。

优选的，步骤(2)中，无人机进行自主避障训练前首先设定任务训练次数为M，无人机循环遍历epoch＝0,1,…,M-1次，每一次循环遍历的具体过程为：

(2-1)在卷积神经网络模型中计算控制无人机运行方向的决策：以概率选择一个随机的动作a_step或者卷积神经网络模型输出的最大Q值对应的动作a_step，所述Q值为卷积神经网络模型输出的价值评估值，所述a_step为卷积神经网络模型输出的无人机运行方向的决策，a_step包括四种情况：原地不动、前进、上升和下降；