[发明专利]二维状态时滞批处理过程的离轨策略最优跟踪控制方法

权利要求书

1.二维状态时滞批处理过程的离轨策略最优跟踪控制方法，具体步骤如下：

步骤一：建立由状态误差和输出误差组成的增广状态空间方程；

首先，具有时滞的间歇过程的状态空间可表示为：

其中，t表示时间方向，k表示批次，x(t,k)表示系统的状态值，x(t-d,k)表示系统具有时间延迟的状态值，u(t,k)表示系统的控制输入，y(t,k)表示系统的输出，A，A_d，B和C是具有适当维数的常数矩阵；

为了减少系统的稳态误差并提高控制器的调节力，用k批次t+1时刻的状态空间减去k-1批次t+1时刻的状态空间，得到如下所示的具有状态时滞的状态空间增量模型：

其中，r(t,k)＝u(t,k)-u(t,k-1)表示系统当前时刻当前批次的更新律；

定义y_r为注射速度的设定值且一直保持不变，则系统在k批次t+1时刻的输出跟踪误差为e(t+1,k)＝y_r-y(t+1,k)，得到

e(t+1,k)＝e(t+1,k-1)-CAΔ_kx(t,k)-CA_dΔ_kx(t-d,k)-CBΔ_kr(t,k) (3)

将输出跟踪误差和状态变量的增量引入新的状态空间变量中，得到新的扩展的时滞状态空间模型，结果如下：

其中，e(t+1,k)＝y_r(t+1,k)-y(t+1,k)，

I是具有适当维数的单位阵；

步骤二：在此增广系统的基础上，设计二维时滞增广状态空间模型的控制器；

在模型(4)的基础上，设计具有状态时滞的注塑成型系统的控制器增益为：

其中K₁为系统k批次t时刻对应的控制器增益，K₂为系统k批次t-d时刻对应的控制器增益，K₃为系统k-1批次t+1时刻对应的控制器增益；

然后设计具有状态时滞的注塑成型系统的最优跟踪控制问题的性能指标为：

由性能指标设计出具有状态时滞系统的二维值函数：

二维值函数的二次型形式如下：

其中，

α₁＝P₁+d²P₄，α₂＝P₃+d²P₄+d(d-1)P₄，α₃＝P₃+d(d-1)P₄+d(d-2)P₄，

α₄＝P₃+d(d-(d-2))P₄+d(d-(d-1))P₄，α₅＝P₃+d(d-(d-1))P₄，α₆＝-d²P₄，

α₇＝-d(d-1)P₄，α₈＝-d(d-(d-2))P₄，α₉＝-d(d-(d-1))P₄，α₁₀＝P₂；

由性能指标和二维值函数可以设计出系统能够对状态进行评估的二维Q函数：

那么二维Q函数的二次形式可以表达如下：

通过比较二维值函数和二维Q函数的二次型形式，可以得到P矩阵与H矩阵的基于控制器增益的关系：

将注塑成型过程的状态空间模型代入二维Q函数可以求解出H矩阵的基于模型参数的形式：

其中，为了简化表达，用x₁代表X(t,k)，用x₂代表X(t+1,k-1)，x_d1，x_d2…x_dd代表X(t-d+(d-1),k)；

基于动态规划原理，可以得到如下基于Q函数的二维贝尔曼方程：

其中z(t,k)＝[X^T(t,k),X^T(t-1,k)…X^T(t-d,k),X^T(t+1,k-1),r^T(t,k)]^T；

根据最优性的必要条件，令得到最优控制输入：

步骤三：设计二维时滞贝尔曼方程和控制器增益；

通过数据驱动的二维离轨策略Q学习算法解得H矩阵参数从而根据设计出控制器增益K₁，K₂，K₃；

为了能够更好地解决Q学习中探索数据和利用数据的关系，需要在系统中引入了目标策略r^j(k,p)，可以得到新系统如下所示：

其中

沿着新系统(15)的轨迹，二维贝尔曼方程可以表示为如下形式：

将(15)式和P矩阵与H矩阵的关系代入到(16)式中，得到如下所示的二维贝尔曼方程表达式：

根据克罗内克积、最小二乘原理将(17)式描述为如下形式：

其中

步骤四：求解控制器增益；

计算上述各项式子，得到控制器增益

。