[发明专利]一种基于Actor-Critic算法的数控机床进给控制补偿方法

权利要求书

1.一种基于Actor-Critic算法的数控机床进给控制补偿方法，其特征在于：首先，根据伺服系统特点，即运行上升过程中存在延时与超调的问题，在伺服系统中设计补偿环节；然后，根据控制需要设计评价指标，利用评价指标设计Actor-Critic算法奖励函数，并根据控制补偿环节确定Actor-Critic算法动作参数，确定算法迭代终止条件；最后，运行Actor-Critic算法，确定最优补偿参数；

所述的一种基于Actor-Critic算法的数控机床进给控制补偿方法，包括以下步骤：

步骤1)通过Simulink仿真模型对数控机床进给系统进行建模，模型包括PID控制器、逆变器、永磁同步电机和检测环节，其中被控对象为进给轴位置，检测环节包括增量式编码器、电流传感器与电机输出扭矩传感器，检测环节检测的物理量包括位置、速度、电流和扭矩；

步骤2)运行初始进给伺服系统Simulink模型，获取进给轴调节过程位置、速度、扭矩、电流信号时域波形，通过时域波形计算调整时间、超调量、上升时间、峰值时间、电流与扭矩有效值之比的时间响应性能指标；

步骤3)从步骤2)的时间响应性能指标中选择参数指标作为评价指标，针对不同的补偿优化目标所选择的参数指标不同，当补偿目标为提高响应速度时，应选择调解时间、上升时间、峰值时间作为评价指标；当补偿目标是抑制超调时，应选择超调量作为评价指标；当补偿目标为提高电机效率时，则选择电流与扭矩有效值之比即效率指标作为评价指标；

将所选择的参数指标作为评价指标向量，组成状态向量S_t，

S_t＝{s₁,s₂,…s_i,…,s_n}

其中，s_i为状态向量中各个评价指标,i＝1,2,…,n；

对状态向量中各元素进行归一化处理，处理过程如下:

其中，s_imin为第i个参数指标最小值，s_imax为样本最大超调，所有参数指标最大值及最小值均通过伺服系统多次运行采样得到；

将归一化后的向量作为Actor网络的输入向量；

步骤4)选择补偿放大增益K作为算法输出动作，作为Actor网络的输出；状态向量S_t与Actor输出动作放大增益K作为Critic网络的输入；同时根据所选择指标设计Actor-Critic算法奖励函数R(s_t,a)

R(s_t,a)＝R_ref-S_t^a

R_ref＝[-0.65；0.7；-0.2]

步骤5)根据输入状态向量及动作分别设计Actor-Critic算法中Actor与Critic参数化网络参数φ(s)，选择RBF神经网络作为参数化手段，随机选择神经网络中心；根据所设计参数配置网络，配置算法学习率α＝0.0001，作为参数反馈更新的折扣；参数更新方式如下

其中为价值梯度，用来更新Critic网络参数梯度；为策略梯度，用来更新Actor网络参数；

步骤6)设置补偿函数形式为一元线性函数，函数形式为：

y＝K(τx+1)

其中，τ为补偿截止时间常数，为补偿信号截止时间的负倒数，K为补偿增益，补偿截止时间应根据补偿评价指标在补偿环节中设置，补偿截止时间应小于调节时间t_s；设计算法终止条件，设置算法最大迭代次数T作为终止条件；

步骤7)运行Actor-Critic算法进行迭代，如果价值函数R在最后100回合的变化ΔR₁₀≤2，则认为算法收敛；如果算法不收敛，则将迭代步数加大50％，重复步骤4)-7)，运行补偿后的伺服系统验证补偿结果。

2.根据权利要求1所述的一种基于Actor-Critic算法的数控机床进给控制补偿方法，其特征在于：所述的步骤2)中的伺服系统为以永磁同步电机为执行器的伺服系统，工作模式为位置控制模式，包括PID控制、Park变化、Clark变换、SVPWM、逆变器、永磁同步电机模块。

3.根据权利要求1所述的一种基于Actor-Critic算法的数控机床进给控制补偿方法，其特征在于：所述步骤5)中的Actor-Critic算法，是通过在构建并运行Actor和Critic两个网络，并将网络与模型环境相结合，在每个回合更新网络参数而实现的。