[发明专利]基于强化学习的电机系统H无穷降阶输出跟踪控制方法

说明书

本发明公开了基于强化学习的电机系统H无穷降阶输出跟踪控制方法，可解决含有未建模动态和不完美数据的电机系统干扰抑制跟踪控制问题。具体包括：利用奇异摄动理论，将原始电机系统H无穷输出跟踪控制问题进行分解得到降阶系统问题；基于原系统的输出状态数据，提出虚拟子系统的状态重构机制解决虚拟子系统数据不可测的问题，进一步推导基于重构数据的强化学习H无穷输出跟踪迭代算法；引入执行‑评价‑扰动神经网络近似控制器、性能指标和扰动，基于最小二乘法迭代更新神经网络的权重，得到基于强化学习的降阶H无穷输出跟踪控制器。本发明避免了在强化学习框架下设计双时间尺度电机系统跟踪控制器时潜在的高维和病态数值问题。

技术领域

本发明属于电机系统驱动控制领域，具体涉及基于强化学习的电机系统H无穷降阶输出跟踪控制方法。

背景技术

广泛存在于电力系统、流程工业等领域的非线性双时间尺度电机系统，是一类具有高阶次、快慢耦合等复杂特性的系统。实际中常常要求系统按照预先设定的参考轨迹运行的同时，具有一定的抗干扰能力。鲁棒跟踪控制的目标就是设计控制器使得系统满足上述要求，因而受到广泛研究。

现有的非线性双时间尺度电机系统跟踪控制方法主要基于滑模控制、自抗扰控制等。但此类方法都没有对扰动抑制的定量分析，因此H无穷控制应运而生，成为处理抗扰问题的有效手段。但一般系统的跟踪控制方法若直接应用在奇异摄动系统中，会造成病态数值问题及维数灾难。为此，基于系统分解的可行解决思路被应用在控制此类系统中。虽已有结果引入时间尺度分解来设计非线性双时间尺度的组合鲁棒控制器，但要求系统模型完全已知，虚拟子系统状态要求完全可测。目前，尚未有动力学未知的非线性双时间尺度电机系统的H无穷降阶输出跟踪控制。

实际工业生产过程中，建立系统的精确模型往往比较困难，得益于智能体与环境交互式错的特性，强化学习在处理无模型控制问题方面具有得天独厚的优势，其利用系统输入输出数据获得理想控制律，可解决最优跟踪控制问题。如今，已经出现了很多方法可在强化学习框架下克服干扰带来的不利影响。作为一种主流的抗扰方法，基于强化学习的H无穷控制引起了广泛关注。将H无穷控制问题转化为零和博弈问题并利用最优控制思想求解已被证明是一种有效的方法。然而，由于双时间尺度系统具有高维数和快慢动态耦合特性，已有强化学习方法不适用于上述电机系统，甚至会导致迭代学习过程中发生病态数值问题。因此，迫切需要开发一种具有自学习能力的电机系统H无穷降阶输出跟踪控制方法，在含有未知动态和数据不完美情况下，仍可实现非上述系统的H无穷降阶输出跟踪控制。

发明内容

发明内容

针对上述存在的技术不足，本发明的目的是提供一种基于强化学习的电机系统H无穷降阶输出跟踪控制方法，可解决含有未建模动态和不完美数据的电机系统干扰抑制跟踪控制问题，避免了在强化学习框架下设计双时间尺度电机系统跟踪控制器时潜在的高维和病态数值问题。

为解决上述技术问题，本发明采用如下技术方案：

一种基于强化学习的电机系统H无穷降阶输出跟踪控制方法，用于伺服电机、流程工业等系统，包括以下步骤：

步骤一：利用奇异摄动理论，将原始电机系统H无穷输出跟踪控制问题进行分解得到降阶问题；

步骤二：基于原系统的输出状态数据，提出虚拟子系统的状态重构机制解决虚拟子系统数据不可测的问题，进一步推导基于重构数据的H无穷输出跟踪强化学习迭代算法；

步骤三：引入执行-评价-扰动神经网络近似控制器、性能指标和扰动，基于最小二乘法迭代更新神经网络的权重，得到基于强化学习的降阶跟踪控制器。

优选地，步骤一中，电机系统用以下状态空间模型描述：