[发明专利]基于强化学习的多Agent污水处理决策支持系统

权利要求书

1.一种基于强化学习的多Agent污水处理决策支持系统，其特征是，包括以下步骤：

a、将水污染源附近的n个污水处理厂分别抽象成具有一定属性的Agent主体，每个Agent包括污水处理厂的处理能力C、污水处理厂与污染源的距离D、主要针对处理的污染物质E、单位距离污水运输的费用P1、单位体积污水处理的费用P2；

b、将强化学习与Agent相结合，定义强化学习的状态集S＝{C，D，E，P1，P2}，动作集A＝{a1，a2}，其中，a1表示该Agent加入污水处理系统，a2表示该Agent不加入污水处理系统；

c、初始化强化学习中Q学习的参数，包括学习速率、折扣因子、Q值；

d、各个污水处理厂Agent通过感知模块获得当前状态s，s∈S，并根据动作选择策略选择当前状态s下最优动作；

e、动作选择策略采用Boltzmann策略，通过执行动作a得到新的状态s′，同时从外界环境得到回报值r；

f、对Q学习中的Q值进行Q值的计算与更新；

g、一次学习过程结束，等待或者马上进入下一个学习过程，直到Q值收敛，得到最优决策，选择最佳的一个或多个污水处理厂Agent加入此次污水处理过程。

2.根据权利要求1所述的基于强化学习的多Agent污水处理决策支持系统，其特征是，所述Boltzmann动作选择策略公式为：

P(a|s,Q)=eQ(s,a)/τΣa′∈AeQ(s,a′)/τ]]>

其中，a为所选择的最佳动作，a′为在s状态下可选择的所有动作，Q为行为的值函数，τ是一个正的参数，称为退火温度，用它来控制搜索率，行为的选择取决于该状态-行为对的Q值函数和参数τ。