[发明专利]一种基于强化学习的转台控制参数自整定方法

摘要

本发明是一种基于强化学习的转台控制参数自整定方法及其系统，解决了传统上转台控制参数需要专业人员长时间调节的问题。所述方法包括：通过制定自整定过程的动作集与回报函数，建立了强化学习回路模型。同时，采用参考控制参数作为初始值，减少了无效训练次数。将仿真模拟训练与真实环境微调相结合，进而在能够快速获得训练好的强化学习网络的同时，避免了数学建模误差带来的不利影响。该方法具有能够自动调节转台控制参数的优势，有效提高了转台的生产效率。

主权项

1.一种基于强化学习的转台控制参数自整定的方法，其特征在于：该方法的步骤如下：步骤一、将转台的速率精度、位置精度设计指标作为PID算法中的超调量、稳态误差、上升时间指标，根据PID算法计算公式计算出超调量、稳态误差、上升时间所对应的Kp、Ki、Kd三个参数，并将Kp、Ki、Kd这三个参数称为转台控制系统参考控制参数；步骤二、在计算机模拟环境下，选取转台模型，将转台的设计指标及转台控制系统参考控制参数输入到转台控制系统结构模型中；步骤三、在计算机模拟环境下，选取工作模式，所述工作模式为强化学习网络训练模式或转台控制参数训练模式，其中：若选取强化学习网络训练模式，首先，对转台设计指标的变化范围及训练次数进行设置，变化范围为设计指标的±10％，在该变化范围内的训练次数选择为50～100次，然后，通过强化学习方式对转台控制系统参考控制参数进行调节，获得转台控制系统实际控制参数；若选取转台控制参数训练模式，首先，直接取值转台的设计指标，训练次数选择为400～500次，然后，通过强化学习方式对转台控制系统参考控制参数进行调节，获得转台控制系统实际控制参数；步骤四、将转台控制系统实际控制参数输入到转台PID控制算法中，然后对转台实际运行情况进行检测，并对转台控制系统实际控制参数进行微调，直至达到技术指标为止。