[发明专利]基于数据的污水处理系统自学习轨迹跟踪方法

权利要求书

1.一种基于数据的污水处理系统自学习轨迹跟踪方法，其特征在于，污水处理过程采用的基准仿真模型包括：生化反应池和二沉池两大部分，生化反应池共分为五个分区，自左向右分别是第一、二、三、四、五分区，前两个分区用于缺氧区为污水处理的反硝化过程；后三个分区为好氧区用于污水处理的硝化反应过程，设好氧区第五分区中溶解氧质量浓度为S_O,5，厌氧区第二分区中硝态氮质量浓度为S_NO,2，第五分区的氧气转换系数K_La,5是S_O,5的控制参数，而第五分区到第二分区的内回流量Q_a,2是S_NO,2的控制参数；利用基准仿真模型开展污水处理控制时，控制器的设计目标是将第五分区的溶解氧浓度S_O,5和第二分区的硝态氮浓度S_NO,2分别保持在2mg/L和1mg/L的水平；其包括以下步骤：

步骤1、污水处理轨迹跟踪控制的问题转化

针对暴雨天气情况下污水处理中的最优跟踪问题，首先定义原始系统的状态变量x_k＝[S_O,5,S_NO,2]^T表示由溶解氧和硝态氮的质量浓度组成的二维向量，定义u_x(x_k)＝[K_La,5,Q_a,2]^T作为原始系统的控制输入信号，其中，k表示时间步；定义d_k＝[2,1]^T表示要跟踪的期望轨迹，u_d(d_k)为期望轨迹所对应的稳定控制输入；构造一个新的增广系统，需要定义跟踪误差向量和跟踪控制向量，跟踪误差e_k＝x_k-d_k，跟踪控制u_e(e_k)＝u_x(x_k)-u_d(d_k)，对增广系统进行处理，定义新的效用函数，求解使得跟踪误差系统代价函数最小的控制律，即将跟踪控制问题转换为误差动态的最优调节问题；

步骤2、建立新颖的自适应动态规划控制框架并利用DHP技术实施迭代算法，针对跟踪误差动态，采用改进的值迭代算法来获取非仿射系统的最优控制策略

选取迭代指标i＝0,1,2,K，并构造迭代代价函数J_i(e_k)和迭代控制律u_ei(e_k)，首先，初始化代价函数J₀(·)＝0，相应的控制输入为：

这样，代价函数更新为

类似地，在控制律和代价函数之间进行迭代运算，不断通过

来求取控制律，然后利用

更新迭代代价函数，经过一定次数的迭代后，即可得到最优代价函数J^*(e_k)和最优控制策略

使用梯度下降的方法来寻找u_ei(e_k)并最小化J_i+1(e_k)，选取内部迭代指标j＝0,1,2,K，并构造首先，随机初始化u_ei(e_k)作为然后，u_ei(e_k)的更新规则就采用如下所示的梯度下降法：

其中，α_u∈(0,1)是内部迭代过程的学习率；

对式(21)进行改写，进一步可以得到如下公式：

进一步采用DHP结构来实现上述迭代自适应动态规划算法，引入一个协状态函数

其中，λ₀(·)＝0，由于结合式(20)，进一步推导可以得到

同样的，对式(24)中涉及的误差模型进行替换，得到的如下迭代关系式：

在迭代DHP算法中，通过在式(22)和(25)之间进行迭代，即可实现对协状态函数序列{λ_i}和控制序列{u_ei}的更新，并可以通过计算协状态函数求解控制策略；

步骤3、基于污水处理系统暴雨天气下的批量数据，构造模型网络来近似复杂的污水处理系统，并利用数值方法求解稳定控制，构造执行网络和评判网络分别用于近似控制策略和协状态函数，并通过不同神经网络之间的交互学习实现基于数据的迭代DHP

构造模型网络、执行网络和评判网络来近似相关变量；首先，模型网络用来近似未知非仿射系统，其输出为并进一步用于求解期望稳定控制u_d(d_k)；然后，构造评判网络和执行网络并对神经网络进行训练，其中，执行网络的输出为近似的控制策略评判网络的输出为近似的协状态函数

步骤4、利用迭代DHP算法完成污水处理系统轨迹跟踪，将执行网络最终得到的近似最优控制律和期望稳定控制相加，得到原始模型网络的近似最优跟踪控制律。

根据上述算法过程，对复杂的污水处理系统进行建模；计算原始系统输出的溶解氧和硝态氮浓度与设定值之间的误差，作为执行网络的输入，经过迭代得到误差动态的近似最优控制律将执行网络得到的近似最优控制律和期望稳定控制相加得到即即原始模型网络的近似最优跟踪控制律；将得到的控制律应用到原始污水处理系统中，实现溶解氧浓度和硝态氮浓度对期望值的轨迹跟踪。