[发明专利]一种线性系统自适应最优控制方法和装置

权利要求书

1.一种线性系统自适应最优控制方法，其特征在于，包括：

构建具有领导者和跟随者的两输入线性系统；

设计所述两输入线性系统每个参与者的目标函数；

构建最优目标函数和最优控制策略满足的方程；

设计值迭代强化学习算法计算最优目标函数和最优控制策略；

利用最小二乘法，给出强化学习算法的一种实现；

基于强化学习算法的一种实现所确定的控制器实现自适应最优控制。

2.根据权利要求1所述的方法，其特征在于，所述构建具有领导者和跟随者的两输入线性系统，包括：

构建具有两个输入的线性系统；

将决策的参与者建模为斯塔克伯格博弈中的领导者和跟随者。

3.根据权利要求2所述的方法，其特征在于，所述设计所述两输入线性系统每个参与者的目标函数，包括：

基于领导者和跟随者的决策顺序，设计关于系统状态和控制输入的成本函数；

给出相应的值函数。

4.根据权利要求3所述的方法，其特征在于，所述构建最优目标函数和最优控制策略满足的方程，包括：

构建跟随者最优目标函数和最优控制策略满足的积分贝尔曼方程；

构建领导者最优目标函数和最优控制策略满足的积分贝尔曼方程。

5.根据权利要求4所述的方法，其特征在于，设计值迭代强化学习算法计算最优目标函数和最优控制策略，包括：

参数初始化；

基于领导者最优控制策略满足的积分贝尔曼方程，更新领导者值函数；

基于领导者最优控制策略和当前值函数，更新领导者控制策略；

基于跟随者最优控制策略满足的积分贝尔曼方程，更新跟随者值函数；

基于跟随者最优控制策略和当前值函数，更新跟随者控制策略；

如果相邻两步迭代所得值函数之差满足期望的阈值，则停止算法，否则返回基于领导者最优控制策略满足的积分贝尔曼方程，更新领导者值函数。

6.根据权利要求5所述的方法，其特征在于，所述利用最小二乘法，给出强化学习算法的一种实现，包括：

根据当前迭代步骤的值函数，构建基于积分贝尔曼方程的残差方程；

利用最小二乘法最小化残差方程中的残差，得到值函数参数向量的更新率；

给出强化学习算法的一种实现。

7.根据权利要求6所述的方法，其特征在于，所述给出强化学习算法的一种实现，包括：

参数初始化；

基于一组系统输入输出数据，更新领导者值函数的参数向量；

更新领导者控制策略；

基于一组系统输入输出数据，更新跟随者值函数的参数向量；

更新跟随者控制策略；

如果相邻两步迭代所得参数向量之差满足期望的阈值，则停止算法，否则返回基于一组系统输入输出数据，更新领导者值函数的参数向量。

8.一种线性系统自适应最优控制装置，其特征在于，包括：

第一构建模块，用于构建具有领导者和跟随者的两输入线性系统；

第一设计模块，用于设计所述两输入线性系统每个参与者的目标函数；

第二构建模块，用于构建最优目标函数和最优控制策略满足的方程；

第二设计模块，用于设计值迭代强化学习算法计算最优目标函数和最优控制策略；

给出模块，用于利用最小二乘法，给出强化学习算法的一种实现；

控制模块，用于基于强化学习算法的一种实现所确定的控制器实现自适应最优控制。

9.根据权利要求8所述的装置，其特征在于，所述第一构建模块具体用于：

构建具有两个输入的线性系统；

将决策的参与者建模为斯塔克伯格博弈中的领导者和跟随者。

10.根据权利要求9所述的装置，其特征在于，所述第一设计模块具体用于：

基于领导者和跟随者的决策顺序，设计关于系统状态和控制输入的成本函数；

给出相应的值函数。