[发明专利]一种非线性系统最优控制器的在线学习方法

权利要求书

1.一种非线性系统最优控制器的在线学习方法，其特征在于包括如下步骤：

S1.获取控制系统的初始状态、系统状态、控制输入，所述控制系统包括机器人的运动控制系统或无人机的飞行控制系统；

S2.建立连续时间系统模型：

式中，为系统状态，u∈R^m为系统的控制输入，x(0)＝x₀为系统的初始状态，Ω为状态区域；

S3.定义目标函数：

式中，函数r:Rⁿ×R^m→R为连续的正定函数；

S4.建立最优控制器，最优控制器u^*满足如下的HJB方程：

式中，为哈密顿函数，V^*为最优控制器u^*对应的值函数，即：

S5.建立基于离策略学习的同步策略迭代算法；

S6.对最优控制器进行在线训练学习；

S7.将训练学习得到的最优控制器用于实际被控对象，所述被控对象包括机器人的运动控制系统的控制参数或无人机的飞行控制系统的控制参数；

所述步骤S5包括下列步骤：

S51.行为策略设计，选择一个行为策略并将其应用于系统以生成学习用到的状态x(t)；

S52.同步策略评估，在时刻t，对于行为策略和由其生成的状态x(t)，定义如下的Q-函数：

在上式的基础上采用时间差分学习方法对最优值函数V^*进行估计，根据神经网络的通用近似定理，利用两个评价网络在Ω内对V^*和Q-函数分别进行近似，其中，两个神经网络的激活函数的基分别为和N₁和N₂分别为两个神经网络隐藏层激活函数的个数；设V^*和Q-函数的最优近似值分别为和其中，W₁和W₂分别为隐藏层到输出层的权重；由于W₁和W₂均未知，用W₁(t)和W₂(t)分别表示t时刻对W₁和W₂的估计，用和替换上式中的V^*(x(t))和可得如下的时间差分误差e(t)：

其中，W(t)＝[W₁(t)^TW₂(t)^T]^T；

采用归一化的梯度下降法对两个评价网络的权重W(t)进行调节：

其中，为评价网络的归一化项，α＞0为评价网络的学习率；

S53.策略提高，利用其中一个评价网络的输出对策略进行改进，引入一个执行网络对最优控制器进行近似，其中，执行网络激活函数的构成的基为N₃为隐藏层激活函数的个数，为u^*的最优近似值，其中，W₃为隐藏层到输出层的最优权重，用W₃(t)表示t时刻对W₃的估计值，用目标策略代替中的行为策略便得到接下来，利用重要性加权的方法对执行网络的权重进行调节：

其中，β＞0为执行网络的学习率，Φ_a(t)＝(1+σ₃(x(t))^Tσ₃(x(t)))²为执行网络的归一化项，U_a(t)为执行网络在t时刻的目标值，U_a(t)＝0；

当评价网络和执行网络的权重收敛后，算法结束。

2.根据权利要求1所述的非线性系统最优控制器的在线学习方法，其特征在于，所述评价网络和执行网络为具有单个隐藏层的前馈神经网络。