[发明专利]一种利用迭代二次启发式规划的污水处理浓度控制方法

权利要求书

1.一种利用迭代二次启发式规划的污水处理浓度控制方法，其特征在于，设S_O,5表示第五分区的溶解氧浓度，S_NO,2表示第二分区的硝态氮浓度，K_La₅表示第五分区的氧气转换系数，Q_a表示第五分区到第二分区的内回流量，包括以下步骤：

步骤1、将污水处理浓度控制问题转化为最优调节器设计

设k表示系统运行的时间步，且k∈N＝{0,1,2,...}，设为k时刻实际测量的溶解氧浓度和硝态氮浓度组成的原始状态向量，设为两个浓度的期望值，设为k时刻氧气转换系数和内回流量组成的实际控制动作，设为稳定控制输入；

设计一个跟踪反馈控制律，使测量状态跟踪上期望值设k时刻的跟踪误差和跟踪控制分别定义为和分别视为最优调节器设计问题中的状态向量与控制向量，表征状态向量x(k)与控制向量u(k)关系的非线性连续函数为F(·,·)，而相应的离散时间非线性动态系统的状态空间方程为

x(k+1)＝F(x(k),u(k)) (1)

对于非线性最优调节器设计问题，找到容许控制律集合中的一个合适反馈控制律u，使得如下形式的代价函数达到最小，即

其中，U(x,u)为效用函数，代价函数J(x(k),u(k))简写为J(x(k))，而最优代价函数J^*(x(k))的定义为J^*(x(k))＝min_u J(x(k),u(k))，

在调节器设计中，最优代价函数J^*(x(k))满足离散时间HJB方程

通过利用迭代二次启发式规划算法得到与理想最优控制u^*(x(k))对应的近似最优控制并应用进行污水处理浓度的跟踪控制设计，其中，

步骤2、构建与协函数相关的迭代自适应评判框架

设i表示外层迭代指标且i∈N，在迭代算法中，预先设置一个小的正数ε，并构造代价函数序列{J⁽ⁱ⁾(x(k))}和控制律序列{u⁽ⁱ⁾(x(k))}，首先从J⁽⁰⁾(·)＝0开始执行迭代过程，然后求解迭代控制律：

更新迭代代价函数

为了更好的利用梯度信息，考虑代价函数相对于状态向量的偏导数，称为协函数，令

且

其中，λ⁽⁰⁾(·)为迭代指标为零时的协函数，即迭代代价函数(6)相对于状态向量的偏导数写为：

公式(5)和(6)表示的迭代关系，变成公式(5)和(9)之间的迭代，上述迭代过程为

λ⁽⁰⁾(·)→u⁽⁰⁾(·)→λ⁽¹⁾(·)→…→u⁽ⁱ⁾(·)→λ⁽ⁱ⁺¹⁾(·)→… (10)

当||λ⁽ⁱ⁺¹⁾(x(k))-λ⁽ⁱ⁾(x(k))||≤ε时，停止迭代过程并输出理想的最优控制律，即有u⁽ⁱ⁾(x(k))→u^*(x(k))，否则，令迭代指标i＝i+1并重复公式(5)和(9)，直到满足收敛性要求；

步骤3、分别构建污水处理平台的神经辨识器与调节器设计问题的模型网络

对于原始污水处理系统的神经辨识器，输入状态信号和控制信号辨识器的输出表示为

其中，和是权值矩阵，和是阈值向量，σ(·)是激活函数，

对于调节器设计问题中的模型网络，输入状态信号x(k)和控制信号u(k)，模型网络的输出表示为：

在训练辨识器与模型网络之后，分别保存训练好的权值矩阵和阈值向量，就可以使用式(11)得到污水处理平台的近似浓度、使用式(13)得到调节器设计问题的近似状态；

步骤4、开展迭代二次启发式规划算法的神经网络实现

构建评判网络和执行网络并进行训练，直到迭代算法满足收敛性要求，在终止执行整个迭代过程之后，输出执行网络的最终权值并得到反馈控制律的神经网络表达，即得到对于理想最优控制律u^*(x(k))的神经网络近似表达

具体实现步骤为：

步骤4-1、构建评判网络以近似迭代过程中的协函数，并利用梯度下降法训练其权值矩阵

基于状态变量x(k)以及第i+1次迭代的权值矩阵和评判网络的输出表达式为

结合迭代过程中协函数的表达式(9)，定义训练评判网络的性能度量为

采用经典的梯度下降法来更新评判网络的权值矩阵，即

其中，α₂0是评判网络的学习率，l_c是评判网络的内层迭代指标，用于衡量评判网络训练过程中的内部循环；

步骤4-2、构建执行网络以近似迭代过程中的控制函数，并利用梯度下降法训练其权值矩阵

最后，基于状态变量x(k)以及第i次迭代的权值矩阵和构建执行网络以近似迭代控制律，其输出表达式为

类似地，结合迭代过程中控制律的表达式(5)，训练执行网络的性能度量为

采用经典的梯度下降法来更新执行网络的权值矩阵，即

其中，α₃0是执行网络的学习率，l_a是执行网络的内层迭代指标；利用协函数表达式，在求解迭代过程中的控制律u⁽ⁱ⁾(x(k))时，直接利用评判网络的输出信息

在迭代二次启发式规划算法的神经网络实现过程中，当迭代算法满足收敛要求时，有即在执行上述自适应学习算法之后，可以得到实用的近似最优控制器即得到对于理想最优控制律u^*(x(k))的神经网络近似表达

步骤5、利用转化后系统的优化调节器，得到原始污水处理系统中溶解氧和硝态氮浓度对于期望值的实际跟踪效果

利用上述迭代二次启发式规划算法，将得到的调节器设计问题的实用控制律作用于转化后的非线性动态系统，实现状态向量x(k)的更新；根据关系式即可得到污水处理系统中溶解氧和硝态氮浓度相对于期望值的实际跟踪效果；同时利用上述实用控制律产生的控制输入信号，实际污水处理平台中的氧气转换系数和内回流量通过得到，至此完成利用迭代二次启发式规划的污水处理浓度控制设计。