[发明专利]基于强化学习粒子群算法的污水处理优化控制方法

权利要求书

1.一种基于强化学习粒子群算法的污水处理优化控制方法，其特征在于包括下述步骤：

(1)构建基于强化学习的污水处理过程智能体四要素：状态、环境、奖励及行动；

(2)建立基于强化学习粒子群算法的污水处理优化控制流程：

智能体行动调整策略具体操作为依据粒子候选解当前位置，给出为提高适应度值的粒子运行速度；策略中，由神经网络函数记忆浓度设定值调整趋势，即粒子最优运行速度；该步骤又分为以下6步：

(a)初始化神经网络参数、浓度设定值及调整趋势；

(b)神经网络预测浓度设定值调整趋势，更新粒子位置及速度；由神经网络函数预测硝态氮及溶解氧浓度设定值调整趋势，加权至标准粒子群算法位置与速度更新公式；

(c)全局最优作为硝态氮及溶解氧浓度设定值，计算出水品质及能耗适应度值，指导污水处理过程运行；

(d)若出水品质及能耗降低，则称为进步粒子，记录进步粒子的硝态氮及溶解氧浓度设定值及调整趋势，训练神经网络模型；

(e)神经网络模型评估与更新；训练完成后，对神经网络进行评估；评估过程中，仅保留惯性分量及神经网络预测分量，由神经网络粒子运行，获取浓度设定值；若新网络获得的出水品质及能耗均值优于前代网络，则保留新网络参数，用来指导预测优化步骤；

(f)判断是否满足结束条件，若不满足，返回步骤(b)继续进行。

2.根据权利要求1所述基于强化学习粒子群算法的污水处理优化控制方法，其特征在于：所述智能体四要素之状态为污水组分浓度。

3.根据权利要求1所述基于强化学习粒子群算法的污水处理优化控制方法，其特征在于：所述智能体四要素之环境为污水处理过程。

4.根据权利要求1所述基于强化学习粒子群算法的污水处理优化控制方法，其特征在于：所述智能体四要素之奖励由出水品质及总能耗组成；所述总能耗包括曝气能耗和泵送能耗。

5.根据权利要求1所述基于强化学习粒子群算法的污水处理优化控制方法，其特征在于：所述智能体四要素之行动为硝态氮及溶解氧浓度设定值调整策略。

6.根据权利要求1所述基于强化学习粒子群算法的污水处理优化控制方法，其特征在于：硝态氮及溶解氧浓度设定值采用粒子候选解描述，奖励采用适应度值描述，表示为出水品质、曝气能耗和泵送能耗的加权值，由下式表示：

f＝c(E_a+E_p)+EQ

式中EQ为出水品质，采用向受纳水体排放出水污染物所需支付的罚款表示，Ea为曝气能耗，Ep为泵送能耗，c为曝气能耗与泵送能耗系数。

7.根据权利要求1所述基于强化学习粒子群算法的污水处理优化控制方法，其特征在于步骤(b)中标准粒子群算法位置与速度更新公式为：

x_id(t+1)＝x_id(t)+v_id(t+1)

式中：X_i＝(x_i1,x_i2,…,x_id,…,x_iD)为粒子i的位置；V_i＝(v_i1,v_i2,…,v_id,…,v_iD)为粒子i的速度分量；P_i＝(p_i1,p_i2,…,p_id,…,p_iD)为粒子i的个体最优；而P_g＝(p_g1,p_g2,…,p_gd,…,p_gD)为全局最优值；ω为惯性权重；c₁和c₂为学习因子，r₁和r₂为随机概率值；V_{i_y}＝(v_{i1_y},v_{i2_y},…,v_{id_y},…,v_{iD_y})为神经网络预测的浓度设定值调整趋势；k为神经网络模型预测系数；ωv_id(t)为惯性分量；为预测分量。