[发明专利]一种基于粒子群和深度强化学习的机组调度系统及方法

说明书

本发明公开了一种基于粒子群和深度强化学习的机组调度系统及方法，系统包括粒子群模块和深入强化学习模型，其中所述深入强化学习模型包括评估网络、经验回放池、目标网络和损失函数，其中，所述粒子群模块的输入为负荷需求，输出连接所述评估网络，评估网络输出Q估计值和所述经验回放池；所述经验回放池输出连接所述目标网络，所述目标网络输出Q目标值，Q目标值与Q估计值均输入所述损失函数，损失函数的输出再反馈给评估网络。本发明在优化机组调度的同时，切实从节约燃煤量的角度出发，既要满足负荷要求，也要在每一度电上至少节约出0.1克燃煤量，同时实现底层设备与机组调度控制一体化的控制优化。

技术领域

本发明属于信息控制领域，涉及一种基于粒子群和深度强化学习的机组调度系统及方法。

背景技术

电力机组经济调度是电力系统运行中的重要环节，由于其多约束，非线性和高维度的特点，一直成为学术学者的研究对象。机组经济调度优化的意义对电力系统不仅仅是提高工作运行效率，更大大提升了电力企业的综合效益，减小了环境影响，而且人工智能的应用实现了系统自动化和智能化。

电力经济调度可以理解为：在保证满足电力生产的前提下，安全且充分调度各机组的发电生产，使得发电成本最低。目前有很多关于机组经济优化问题的研究，比如遗传算法，蚁群算法，粒子群算法，神经网络，强化学习以及各种不同算法相融合产生的算法。随着电力系统的发展，机组经济调度复杂程度增加，在原有的机组经济优化的问题中添加了不同的约束，如机组启停时间成本，机组爬坡消耗成本等等。然而，所有研究中只是在原有系统中优化了机组调度，但无法实现底层设备参数一体化的控制优化，从而无法进一步优化所需燃煤量。

发明内容

为解决上述问题，本发明的目的在于提供一种基于粒子群和深度强化学习的机组调度系统，包括粒子群模块和深入强化学习模型，其中所述深入强化学习模型包括评估网络、经验回放池、目标网络和损失函数，其中，

所述粒子群模块的输入为负荷需求，输出连接所述评估网络，评估网络输出Q估计值和所述经验回放池；所述经验回放池输出连接所述目标网络，所述目标网络输出Q目标值，Q目标值与Q估计值均输入所述损失函数，损失函数的输出再反馈给评估网络。

优选地，所述粒子群模块输出目标燃煤量和底层可控设备参数，目标燃煤量作为输入状态，底层可控设备参数作为输入动作。

优选地，所述评估网络向所述经验回放池输出的为目标燃煤量、底层可控设备参数、预估奖励和下一状态的目标燃煤量。

优选地，所述经验回放池向所述目标网络输出的为下一状态的目标燃煤量。

优选地，所述粒子群模块中粒子数为80，惯性权重w＝1，学习因子c₁＝c₂＝2.01，粒子的最大速度为1，迭代次数为1500次，适应值函数为：其中a_i,b_i,c_i为各机组能耗系数；粒子位置和速度更新公式为：

其中，k表示迭代步数，α为收缩因子，pbest为粒子历史中最优位置，gbest为全部粒子中最优位置，rand()为随机函数取值范围是[0,1]。

基于上述目的，本发明还提供了一种上述基于粒子群和深度强化学习的机组调度系统的方法，包括以下步骤：

S10，根据负荷需求利用粒子群模块优化得出所有机组出力：以符合需求指令为目标，在各个机组发力的约束下，利用粒子群模块对所有机组进行合理分配，所得结果为各个机组的生产值；

S20，根据机组出力计算燃煤量：根据燃煤量和机组出力的转化公式计算得到燃煤量和平均燃煤量、即为每度电的燃煤量，目标燃煤量为平均燃煤量至少再减少1g燃煤量每度电；

S30，将目标燃煤量作为输入状态，风水煤等底层可调节设备参数作为输入动作，输入到深度强化学习模型中；