[发明专利]一种线性系统自适应最优跟踪控制方法

权利要求书

1.一种线性系统自适应最优跟踪控制方法，其特征在于，包括如下步骤：

步骤(1)：将系统的跟踪控制转化为增广系统的稳定性控制；

步骤(2)：针对增广系统，引入Q函数重构系统性能指标函数，建立基于控制依赖二次启发式规划的系统目标方程；

步骤(3)：设计一个模型网络来近似估计系统的下一时刻的状态x(k+1)及系统矩阵A和B，对系统进行辨识；

步骤(4)：在模型网络辨识器的基础上，构建基于控制依赖二次启发式规划的Q-learning算法，迭代获得系统的近似最优控制律

2.根据权利要求1所述的线性系统自适应最优跟踪控制方法，其特征在于，步骤(1)包括下述步骤：

(1-1)线性离散系统的系统动态如下：

其中表示系统当前时刻的状态向量，表示系统下一时刻的状态向量，表示系统的控制向量，是系统的输出，是常数矩阵，假设(A,B)是可控的，(A,C)是可观测的；

期望的参考系统的轨迹动态如下：

其中是是系统当前时刻的动态，是系统下一时刻的动态，是系统的输出，和是常数矩阵；

(1-2)构造增广系统，使原系统的跟踪控制问题转化为增广系统的镇定控制问题；基于控制系统的式(1)和参考系统的式(2)，增广系统定义为

当前时刻的增广状态X(k)和系统矩阵A₁，B₁，C₁为

其中是增广系统下一时刻的状态，是增广系统的输出；

(1-3)定义如下的性能指标函数：

其中0＜γ≤1是折扣因子，U_i是时刻i的效应函数，和分别是半正定对称权重矩阵和正定对称权重矩阵，代价函数(6)可以表示为

其中

性能指标函数(7)可以重新表示为

其中U(X(k),u(k))＝X^T(k)Q₁X(k)+u^T(k)Ru(k)为时刻k的效应函数；

(1-4)由式(3)和式(7)可以得知，最优线性二次型跟踪问题转化为了最优线性二次镇定问题。针对线性二次镇定问题，最优控制可以通过状态反馈实现。控制形式如下：

u(k)＝-KX(k).(10)

其中K为反馈增益矩阵。由代价函数(7)，可以推导出

将式(10)代入式(3)中，推导出下式

X(k+1)＝(A₁-B₁K)X(k)＝K₁X(k),(12)

其中K₁＝A₁-B₁K。将式(12)代入式(11)中，可以得到性能指标函数关于增广状态X(k)的二次型形式

其中

(1-5)结合公式(9)和(13)，得到增广系统的贝尔曼方程表示如下

X^T(k)PX(k)＝X^T(k)Q₁X(k)+u^T(k)Ru(k)+γX^T(k+1)PX(k+1).(14)

其中P是核对称矩阵；

定义哈密尔顿方程如下：

通过下式计算

可以获得最优控制为

其中

将式(3)和式(17)代入式(14)中，可以获得增广代数黎卡提方程

根据式(17)和式(18)，最优控制律可以通过计算(18)中的核心矩阵P的最优值获得。然而由于(18)对于P是非线性的，因此通过(18)直接计算P是困难的，而且需要系统动态的信息。