[发明专利]基于强化学习的多Agent污水处理决策支持系统

摘要

本发明公开了一种基于强化学习的多Agent污水处理决策支持系统，将水污染源附近的污水处理厂抽象成具有一定属性的Agent主体，将强化学习与Agent概念相结合，定义强化学习的状态集、动作集；初始化强化学习中Q学习的参数，包括学习速率、折扣因子、Q值；各个Agent通过感知模块获得当前状态，并根据动作选择策略选择当前状态下最优动作；根据Q学习中的Q值公式进行Q值的计算与更新；一次学习过程结束，等待或者马上进入下一个学习过程，直到Q值收敛，得到最优决策。本发明从整个污水处理系统的全局出发，宏观调配污水处理厂的使用情况，具有较高的灵活性与自适应能力，并且可扩展性也非常高，具有较高的实用价值。

主权项

一种基于强化学习的多Agent污水处理决策支持系统，其特征是，包括以下步骤：a、将水污染源附近的n个污水处理厂分别抽象成具有一定属性的Agent主体，每个Agent包括污水处理厂的处理能力C、污水处理厂与污染源的距离D、主要针对处理的污染物质E、单位距离污水运输的费用P1、单位体积污水处理的费用P2；b、将强化学习与Agent相结合，定义强化学习的状态集S＝{C，D，E，P1，P2}，动作集A＝{a1，a2}，其中，a1表示该Agent加入污水处理系统，a2表示该Agent不加入污水处理系统；c、初始化强化学习中Q学习的参数，包括学习速率、折扣因子、Q值；d、各个污水处理厂Agent通过感知模块获得当前状态s，s∈S，并根据动作选择策略选择当前状态s下最优动作；e、动作选择策略采用Boltzmann策略，通过执行动作a得到新的状态s′，同时从外界环境得到回报值r；f、对Q学习中的Q值进行Q值的计算与更新；g、一次学习过程结束，等待或者马上进入下一个学习过程，直到Q值收敛，得到最优决策，选择最佳的一个或多个污水处理厂Agent加入此次污水处理过程。