[发明专利]小型无人直升机的强化学习自适应控制方法

说明书

本发明涉及小型无人直升机的非线性控制，为提出一种基于强化学习的自适应控制方法，实现在小型直升机具有系统参数不确定性和外界扰动的情况下，仍能保持飞行姿态稳定。为此，本发明采用的技术方案是，小型无人直升机的强化学习自适应控制方法，以强化学习自适应控制算法为基础，结合评价网执行网体系结构，用于小型无直升人机的姿态系统控制中，包括以下步骤：步骤1)确定小型无人直升机的坐标系定义；步骤2)确定小型无人直升机姿态动力学模型；步骤3)定义姿态角跟踪误差并整理动力学误差模型；步骤4)控制律设计。本发明主要应用于小型无人直升机的非线性控制场合。

技术领域

本发明涉及一种小型无人直升机的非线性控制方法，特别是涉及一种基于强化学习的小型无人直升机自适应控制方法。具体讲,涉及小型无人直升机的强化学习自适应控制方法。

背景技术

无人机(Unmanned Aerial Vehicle，简称UAV)，是装配了必要的数据处理单元、传感器、自动控制器以及通信设备的飞行器系统，能够在远距离遥控下或者自主控制下执行预先设定的飞行任务。无人直升机能够做到：1)可垂直起降、可定点悬停、可在空中原地转弯；2)能够近地机动飞行；3)起飞和降落无需专用的跑道；4)若直升机在空中发生故障，可以利用自身旋翼特性自转下滑，最终安全降落。其在民用领域和军事上均发挥着重要的价值，受到各国的普遍重视(图书：国防工业出版社；著者：贺天鹏，张俊，曾国奇，等；出版年月：2016；文章题目：无人直升机系统设计；页码：1-21)。然而，由于无人直升机是欠驱动且具有显著动态耦合的高度非线性系统，在控制器设计和实施过程中需要对这些动态耦合加以考虑和解决，因此其控制器的设计非常具有挑战性。

目前，针对小型无人直升机系统的控制方法主要包括线性控制、非线性控制和智能控制等多种设计方法。线性控制方法是目前常用的无人机控制方法，刘昊等人基于简化的无人直升机线性模型设计了LQR(linear quadratic regulator，线性二次调节器)控制器。该方法通过数值仿真验证了控制器的有效性，但这种线性控制方法是基于在无人直升机工作点附近的近似线性化进行分析设计的，只能在平衡点附近使系统实现稳定，因而不可避免地限制了控制器的应用范围(期刊：IEEE Transactions on IndustrialElectronics；著者：Liu H,Lu G,Zhong Y；出版年月：2013；文章题目：Robust LQRAttitude Control of a 3-DOF Laboratory Helicopter for Aggressive Maneuvers；页码：4627-4636)。

为克服线性控制方法的上述不足，许多学者采用非线性控制方法实现无人直升机的大范围控制。Raptis I A等人将无人机动态模型划分为两个子系统，内环为姿态控制系统，外环为位置控制系统，采用反步法设计了跟踪控制器，通过数值仿真验证了无人机的镇定、跟踪和高难度飞行实验(期刊：IEEE Transactions on Control Systems Technology；著者：Raptis I A,Valavanis K P,Moreno W A；出版年月：2011；文章题目：A NovelNonlinear Backstepping Controller Design for Helicopters Using the RotationMatrix；页码：465-473)。针对系统存在参数不确定性，蒙志君等人设计了一种基于扩张状态观测器的自抗扰反步控制器，通过引入扩张状态观测器来实时观测由模型不确定性和外界扰动组成的全部未知扰动，同时与反步法相结合，使无人直升机在存在外界扰动下均能对控制指令实现快速和准确的反应(期刊：控制理论与应用；著者：陈旭智，蒙志君，赵文龙，等；出版年月：2015；文章标题：适应扰动的无人直升机姿态跟踪控制；页码：1534-1539)。