[发明专利]一种随机扰动系统的数据驱动自适应优化控制方法及介质

权利要求书

1.一种随机扰动系统的数据驱动自适应优化控制方法，其特征在于，包括问题描述部分、数据驱动最优状态观测器的设计部分和随机扰动系统的异策略数据驱动ADP控制部分；

对于问题描述部分：

给定一个随机扰动系统，并获得与之关联的输出方程；求解最优线性控制，通过设计的随机最优控制策略，使得代价函数最小化；

对于数据驱动最优状态观测器的设计部分：

针对完全不可测的系统状态，设计数据驱动最优状态观测器；通过随机扰动系统、输出方程和观测器获得状态设计系统；

观测得到的状态设计系统的最优控制策略；

借用数据驱动ADP的思想，在状态设计系统上设计数据驱动算法，求解最优观测增益；

对于随机扰动系统的异策略数据驱动ADP控制部分：

利用最优观测器得到状态设计系统的在线状态信息，即可进一步设计数据驱动ADP算法，最终获得随机最优控制；

数据采集和学习阶段的观测增益固定为L₀，其中是Hurwitz矩阵；当独立噪声为零，为保证持续激励条件，在系统(9)右侧加入探索噪声ζdt；当存在独立噪声，持续激励条件自动满足，此时不需要加入探索噪声，即ζ＝0；

定义L_k:＝L_k-L₀(k＝0,1,2…)以及

设d∑₁可测，则有

沿着系统(9)的轨迹对(18)的两边积分，得到

定义

其中是预先定义的采样时刻，满足

利用以上表达式，(19)可以变换为更紧凑的形式

其中ψ_ek和Ω_ek分别定义为

对于给定的L₀使得为Hurwitz矩阵，若秩条件

成立，则有S_k和S_k+1的唯一解，且计算得到的序列分别收敛到S^*,L^*；

只要采样数r₁(公式(24)中预定采样时刻的下角标，代表采集数据的个数)选得足够大，即可保证秩条件满足，此时可通过

迭代求出S_k,L_k+1，通过设立阈值κ₁作为循环中断条件，当满足||S_k-S_k-1||≤κ₁时中断循环，此时的L_k即得到的最优观测增益；

对于随机扰动系统的异策略数据驱动ADP控制部分：

当独立噪声不为零，持续激励条件自动满足，学习阶段的控制律设为

u₀＝-K₀x (30)

其中K₀系统的容许控制策略，当独立噪声为零，则在(30)右侧增加探索噪声θ；

由伊藤第三引理可得

定义以及

并设d∑₂可测，有

将系统(1)的轨迹对方程(33)的两边积分，进一步得到

定义

其中是预先定义的采样时刻，满足

利用以上表达式，可以把(34)变换为紧凑形式

其中ψ_xk和Ω_xk分别定义为

进而得到

给定初始容许控制策略K₀，若秩条件

通过选取足够大的r₂，得到(P_k,K_k+1)的唯一解，且通过设立阈值κ₂作为循环中断条件，当满足||P_k-P_k-1||≤κ₂时中断循环，此时的u＝-K_kx即得到的随机最优控制输入。