[发明专利]一种有刷直流电机强化学习自适应控制方法

摘要

一种有刷直流电机强化学习自适应控制方法，属于电机技术领域。本发明的目的是通过参数鲁棒自适应律在线辨识齿槽转矩、非线性摩擦力模型参数以及基于强化学习的未知扰动估计补偿策略，解决了有刷直流电机转速控制过程中死区、爬行及低速不平稳问题的有刷直流电机转速非线性控制方法。本发明步骤是：建立有刷直流电机的数学模型；有刷直流电机鲁棒自适应控制方法。本发明基于微分平坦设计前馈加反馈的二自由度控制结构。相对于传统的双环PI控制方法，该方法引入的前馈控制能够在参考输入作用瞬间而不是出现偏差后作用于被控对象，且在前馈中引入了非线性补偿信号，能够抑制扰动对电机低速控制的影响，提升转速跟踪精度。

主权项

1.一种有刷直流电机强化学习自适应控制方法，其特征在于：其步骤是：(1)建立有刷直流电机的数学模型有刷直流电机的等效电路为电感、电阻及电动势的串联，U表示有刷直流电机电刷两端的电压，电机电枢回路平衡方程：式中ε为电机电枢反电动势；i为电机电枢回路电流；R为电机电枢回路电阻；L为电机电枢回路电感；推导出直流电机的感应电动势方程：ε＝keω  (2)式中，ε是有刷直流电机的感应电动势(V)；ke是反电势常数(V·s/rad)；建立电机电枢力矩平衡方程：式中，J是电机转子的转动惯量(N·m2)；T是电枢的电磁转矩(N·m)；ω是电机转速(rad/s)；Tf是电机电枢摩擦力矩(N·m)；Tcog是电机电枢与永磁体产生的齿槽转矩(N·m)；d是电机的未知扰动(N·m)，t是时间(s)；其中电磁转矩T由下式计算：T＝kti (4)其中kt是转矩灵敏度系数(N·m/A)；摩擦力矩Tf采用LuGre动态摩擦力模型，由下式计算：其中，σ0是鬃毛的刚度，σ1是阻尼系数，σ2是粘滞系数，z代表鬃毛的平均形变量，ωs为stribeck速率，ω为电机转速；齿槽转矩由下式计算：其中，T_i和分别为第i阶谐波的基频和相位，λ_i＝iλ₁，对于有λ_i≠λ_j，θ为电机的机械角位移；基频λ_i是换相片的个数；(2)有刷直流电机鲁棒自适应控制方法①模型参数鲁棒自适应律设计有刷直流电机中的LuGre动态摩擦力模型如式(5)(6)(7)所示，考虑到LuGre模型内部状态z在电机高速状态下容易产生不稳定现象，同时在高速时起到主导作用的摩擦力为静摩擦力，因此改进LuGre模型为如下形式：其中：在低速时LuGre模型不变，在高速时LuGre模型变换为静摩擦力模型：Tf＝Fcsgn(ω)+Fvω (11)齿槽转矩模型为如下形式：将上式展开：定义齿槽转矩模型变换为如下形式：Tcog＝Tcsin(λ1θ)+Tscos(λ1θ)  (15)定义齿槽转矩和摩擦力模型参数θ＝[θ₁，θ₂，θ₃，θ₄，θ₅，θ₆]^T＝[σ₀，σ₁，F_c，α₂，T_c，T_s]，令为真值θ的估计值；定义·_i表示向量θ中第i个元素，θ_i max为的上限，θ_i min为的下限；设计如下自适应律：其中Γ＞0为对角矩阵，值与自适应收敛速度有关；式中的自适应函数定义为如下形式：ω_e＝ω^*‑ω为速度跟踪误差，ω^*为期望转速，定义为如下形式：齿槽转矩和摩擦力矩为②基于强化学习的未知扰动估计补偿策略下式为转速环方程：未知扰动d基本结构由两部分组成，一部分为评价器神经网络，一部分为执行器神经网络；I、执行器ActorRBF神经网络设计设d的最优估计为：ω₁为神经网络的逼近误差，ξ_a为基向量，为神经网络的最优参数权值；为了获得接近最优的权值向量，通过强化学习自适应方法更新，执行器网络权值更新律为：执行器网络输出为II、评价器CriticRBF神经网络设计评价器网络输出强化学习信号r评价器网络权重更新律：(23)(24)(25)式中Γa＝diag(va，va)，Γc＝diag(vc，vc)；va，vc，ηa，ηc为正的常数；ξa＝[ca1，...，cal]T，ξc＝[cc1，...，ccl]T为径向基向量，采用高斯函数，表达式为：μi为第i个节点的中心点，ηi为高斯函数的基带宽度，ψ＝[ωr，ω，eω]T为神经网络输入；③基于微分平坦的控制器设计I、电流环控制器设计：定义平坦输出y1，控制量u1，状态量x1：y1＝i，u1＝U，x1＝i  (27)状态量x被写为：前馈控制量u_f1被平坦输出y及其微分表示为如下形式：因此电流环系统是微分平坦的；设计反馈控制器为PI形式：Kp1(y1REF‑y1)+KI1∫(y1REF‑y1)dt＝λ1  (30)电流环总的控制律为：u1＝uf1+λ1  (31)其中y1REF为转速环输出的期望电流值，Kp1，KI1为电流环反馈控制器可调参数；II、转速环控制器设计：定义平坦输出y2，控制量u2，状态量x2y2＝ω，u2＝i，x2＝ω  (32)转速环控制器输出为期望电流值：i＝iacom  (33)转速环前馈控制量可以表示为：上式重写为：反馈控制器设计为PI形式：Kp2(y2REF‑y2)+KI2∫(y2REF‑y2)dt＝λ2  (36)转速环总的控制律为：式中y2REF为期望转速，Kp2，KI2为转速环反馈控制器可调参数。