[发明专利]一种基于策略迭代的伺服电机自适应智能控制方法

说明书

一种基于策略迭代的伺服电机自适应智能控制方法，首先对伺服电机系统进行系统辨识，确定其传递函数，该步骤仅用于在仿真时获取伺服电机下一时刻的位置和速度信息；然后根据系统的传递函数建立伺服电机的状态空间方程并离散化。给定伺服电机一个初始速度，并从伺服电机的单一轨迹中采集系统的位置和速度信息，对采集到的位置和速度信息处理之后进行最小二乘，得到使系统损失函数最小的参数向量p，从而推导出系统的权值矩阵P，最后根据权值矩阵P计算出当前时刻下的最优反馈控制。本发明基于策略迭代的半无模型的算法来解决线性、连续、时不变系统系统的最优控问题。在不需要知道系统内部动态模型的情况下在线解决LQR问题。

技术领域

本发明属于自适应控制领域，具体提供一种基于策略迭代的伺服电机自适应智能控制方法，这种方法能够在没有系统模型的情况下获得伺服电机系统的最优反馈控制并且最小化伺服电机的损失函数。

背景技术

从强化学习概念的提出至今已有非常多的理论成果，但是由于强化学习方法计算量大，计算复杂度较高，并且缺乏需高速运算设备的支持，所以很难将强化学习的方法引入到实际的运动控制系统当时中。但是，随着计算机科学技术的高速发展，计算机和单片机的运算速度大幅度提高，提高了在实际运动控制系统运用强化学习算法解决最优反馈控制问题的可行性。

针对解决最优反馈控制问题，传统的技术方法是首先对系统进行模型辨识，得到系统的模型，进而设计最优反馈控制器，传统的控制器有H_∞无穷控制器，或者通过解线性矩阵不等式来获得系统的可行解。但是，传统的技术存在着局限性，这种局限性是由于实际系统存在不确定性导致的，包括系统模型的不确定性以及系统外部的扰动。使用传统的方法时，系统的模型是必需的，并且模型的精度直接影响控制的准确性，即使模型可用，基于该模型获得的状态反馈控制器也仅适用于真实系统动力学的近似模型。除此之外，时变系统最优控制运用到实际系统中操作困难，成本代价高，性能一般，实际的使用价值底，因而通过数据驱动的方法，使用系统的输入输出数据来计算系统的最优控制显的很有必要。因此，为了在不需要系统模型的情况下获得系统的最优控制器，最小化系统的损失函数，本发明使用了强化学习中策略迭代的方法，在线学习伺服电机的最佳反馈控制策略。

发明内容

本发明专利所考虑的具有物理特征的实体对象如图1所示，其主要由上位机、ARM微处理器、AC伺服系统、伺服电机、电源及开关和CAN总线组成。其中，上位机主要的工作是通过TCP/IP协议接收来自ARM微处理器的数据，并运行内嵌的控制算法，随后发送控制指令至ARM微处理器。ARM微处理器作为数据的中转站，通过CAN总线从伺服系统中获得伺服电机的速度、位置、力矩等信息，并将这些信息传输给上位机，同时接收上位机的控制指令并将其下发至伺服系统，伺服控制系统中数据信号的传递过程如图2所示。AC伺服系统具体型号为台达ASDA－A2系列的高性能通讯型伺服驱动器，其作用是实时响应PC机的控制指令，驱动伺服电机执行相应的动作。电源及开关则负责系统的上电断电。

为了获取伺服电机的最佳控制策略，本发明提供了一种基于策略迭代的伺服电机自适应智能控制方法，具体地说，本发明提供的方法基于策略迭代的半无模型的算法来解决线性、连续、时不变系统系统的最优控问题。在不需要知道系统内部动态模型的情况下在线解决LQR问题。

本发明为解决上述技术问题提供了如下技术方案：

一种基于策略迭代的伺服电机自适应智能控制方法，包括以下步骤：

步骤1)，对伺服电机进行模型辨识，确定系统传递函数，伺服电机的系统模型仅用于在仿真时获取伺服电机下一时刻的位置和速度信息：

通过辨识系统，得到了伺服电机的传递函数如式(1)所示：

其中G(s)为伺服电机的传递函数，K_s、T_s为辨识出来的参数，其具体数值为K_s＝0.08373,T_s＝0.02433；