[发明专利]小型无人直升机的强化学习自适应控制方法

摘要

本发明涉及小型无人直升机的非线性控制，为提出一种基于强化学习的自适应控制方法，实现在小型直升机具有系统参数不确定性和外界扰动的情况下，仍能保持飞行姿态稳定。为此，本发明采用的技术方案是，小型无人直升机的强化学习自适应控制方法，以强化学习自适应控制算法为基础，结合评价网执行网体系结构，用于小型无直升人机的姿态系统控制中，包括以下步骤：步骤1)确定小型无人直升机的坐标系定义；步骤2)确定小型无人直升机姿态动力学模型；步骤3)定义姿态角跟踪误差并整理动力学误差模型；步骤4)控制律设计。本发明主要应用于小型无人直升机的非线性控制场合。

主权项

1.一种小型无人直升机的强化学习自适应控制方法，其特征是，以强化学习自适应控制算法为基础，结合评价网执行网体系结构，用于小型无直升人机的姿态系统控制中，包括以下步骤：步骤1)确定小型无人直升机的坐标系定义；小型无人直升机坐标系定义主要涉及两个坐标系，惯性坐标系{I}＝{O_I,x_I,y_I,z_I}和机体坐标系{B}＝{O_B,x_B,y_B,z_B}，其中O_i(i＝I,B)表示坐标系原点，x_i,y_i,z_i(i＝I,B)分别对应坐标系三个主轴方向的单位矢量，各坐标系的定义均遵循右手定则，同时定义直升机姿态角在坐标系{I}下表示为η＝[φ,θ,ψ]^T,φ,θ,ψ分别对应滚转角、俯仰角和偏航角，目标轨迹姿态角在坐标系{I}下表示为η_d＝[φ_d,θ_d,ψ_d]^T,φ_d,θ_d,ψ_d分别对应目标旋转角、目标俯仰角和目标偏航角；步骤2)确定小型无人直升机姿态动力学模型；通过分析小型无人直升机作用原理，用拉格朗日方程来描述其姿态动力学模型为：其中M(η)代表惯性矩阵，代表科氏力矩阵，G(η)为重力力矩向量，d代表未知扰动向量，S代表角速度变换矩阵，A,B代表旋翼动力学相关矩阵，D代表旋翼挥舞角动力学相关矩阵，δ(t)＝[δ_lat(t) δ_lon(t) δ_ped(t)]^T代表控制输入，δ_lat(t)代表横向周期变距，δ_lon(t)代表纵向周期变距，δ_ped(t)代表尾桨总距，角速度变换矩阵S表示为：步骤3)定义姿态角跟踪误差并整理动力学误差模型；定义系统姿态跟踪误差e₁及其滤波误差e₂为：e₁＝η‑η_d其中λ＝[λ₁,λ₂,λ₃]^T为正常数阵，引入辅助矩阵Ω＝S^‑TAD，输入转矩量τ^I＝Ωδ(t)，定义性能指标函数为：其中，Q,R为正定矩阵，需要保证系统的性能指标函数最优，定义哈密尔顿函数为如下形式：引入评价网来近似性能指标函数J(e₁)：其中，为权重向量，为径向基函数，设计权重更新律为：其中，a₁为评价网络的自适应增益，为辅助变量。对e₂求一阶时间导数，并将式(1)代入整理，得到滤波误差的开环动态方程为：其中，辅助函数定义为：步骤4)控制律设计；引入执行网络来逼近系统不确定函数N(x)，表示为：其中，为权重向量，为径向基函数，设计权重更新律为：其中，a₂为执行网络的自适应增益；根据以上分析，设计设计控制输入δ(t)为：其中k_r,Γ,k_v,β均为正常数阵，sgn(·)为标准符号函数；以上述控制律进行小型无人直升机的姿态控制。