[发明专利]一种削减汽车起重机回转停止冲击的控制方法

摘要

本发明公开了一种削减汽车起重机回转停止冲击的控制方法，包括以下步骤：设定回转机构运动状态的离散状态集和控制信号斜坡变化步长的离散动作集，将回转过程的运动状态划分到对应的状态集上，比例电磁阀控制信号的斜坡变化步长划分到对应的动作集上，通过在回转液压马达进出油口布置压力传感器，来检测压力冲击数值，通过奖励函数对每步动作进行奖励，并反向更新各状态下动作总奖励矩阵，实现根据实际效果进行自动学习，可在后续操作中自动识别状态，选择当前状态下总奖励最大的动作序列，分段构建斜坡曲线进行输出控制。通过上述方式，本发明能够能有效地减小汽车起重机回转停止过程中的液压冲击，具有较强的环境适应性，提高了系统的工作性能。

主权项

1.一种削减汽车起重机回转停止冲击的控制方法，通过给回转比例电磁阀控制信号添加斜坡，来减小因状态突变产生的液压冲击；其特征在于，包括以下步骤：1)设定状态集S，S共有n个元素，对应n个状态，即{s1,s2,…,sn}；按回转机构的动量矩大小，将回转机构的状态也划分为一系列离散区间{ΔL1,ΔL2,…，ΔLn}，分别对应所述的状态集S的n个状态；2)设定动作集A，A共有n个元素，对应n个动作，即{a1,a2,…,an}；每个动作值的大小对应该动作下斜坡值变化的步长；3)设定一n×n维矩阵H和一n×n维矩阵E，两矩阵的行代表当前的状态，列代表转移到一下状态所采取的动作，初始化所述的矩阵H和所述的矩阵E为零矩阵；所述的矩阵H的元素值H(s,a)表示状态s下执行动作a的即时奖励；所述的矩阵E的元素值E(s,a)表示在状态s下执行动作a的总奖励；4)计算当前回转机构动量矩，映射到对应到状态集元素si上；使用动作选择算法选择并执行一个动作ai，并根据信号输出算法输出控制信号ki，使状态转移至si+1；通过压力传感器实时检测马达进出油口压力，计算压力冲击的大小，用超调量σ％表示，再经过奖励函数hi进行评价计算，计算结果作为状态si下执行动作ai的立即奖赏值，即h(si,ai)；所述的计算回转动量矩的大小，划分到对应状态集上的方法为：步骤1)计算回转机构动量矩所述的回转机构动量矩M＝Jω，其中，J＝m*r2为回转转动惯量，m为回转机构和当前吊重的总质量，r为回转机构的重心到回转中心轴线的垂直距离，ω为回转角速度；步骤2)将动量矩映射到状态集上将所述的动量矩按如下计算方法折算到状态区间上，其中J_max为该起重机回转机构的最大额定动量矩；所述的动作选择算法为：设定动作选择因子β，β的取值范围为β∈[0.5,1.5]，每一步生成随机因子ε∈[0.2,1.5]，若ε＜β，则以均匀概率从动作集A中选择一个动作执行；若β≤ε，则选择使后续总奖励最大的动作，即：a＝π(s)，其中π(s)表示状态s下的序列动作；所述的信号输出算法为：设定控制信号的变化步长为Δk，不同动作下输出的控制信号k大小为ki＝ki‑1+ai*Δk；所述的奖励函数所述的E值更新方法的具体步骤为：步骤11)求取本状态s_i下所有可执行动作中，总奖励实际获得值δ的最大值，其中，ζ为影响因子，取值范围为0.1≤ζ≤0.9，a_i为状态s_i下总奖励最大对应的动作；步骤12)求取上述步骤11)中状态si下动作ai的总奖励转移值χ，χ＝α[h(si‑1,ai‑1)‑E(si‑1,ai‑1)+δ]，其中，α为学习率，取值范围为0.2≤α≤0.8；步骤13)更新本状态si下动作ai的总奖励值，E(si,ai)＝E(si‑1,ai‑1)+χ；5)按步骤4)同样的方法观察状态si+1，根据E值更新方法对上一状态si的E(si,ai)值进行反向更新。