[发明专利]一种面向能源系统运行优化的强化学习控制系统

说明书

本发明公开了一种面向能源系统运行优化的强化学习控制系统，适用于各类能源系统，如燃气分布式能源系统等，包括能源系统（如燃气分布式能源系统）、运行数据模块（数据库）、收益评估模块（奖励项）、偏差计算模块（惩罚项）和智能体（运行优化），通过运行数据模块（数据库）的在线读写，实现了模型训练与能源系统控制隔离；通过收益评估和偏差计算模型对智能体（运行优化）模型的奖励反馈和惩罚反馈，实现了能源系统安全运行要求下的智能体（运行优化）模型训练。模型训练得到的最佳控制输出作用于能源系统，实现在线的闭环控制。

技术领域

本发明涉及一种面向能源系统运行优化的强化学习控制系统，可应用于各类能源系统(如燃气分布式能源系统等)的运行优化控制。

背景技术

由于能源系统输入燃料，输出电、冷/热能，具有供能多样性，调控复杂等特性，机组结构复杂，耦合性强，人工调控又往往取决于人工经验，不同人员的运行操作水平参差不齐，导致系统运行存在不经济或低效率等情况。同时由于能源系统的流程工艺复杂，设备多，特性多变，又存在多种输入、多种输出的形式，常规机理建模复杂，准确度不够，更难与实际系统运行数据匹配，因此对系统的控制最优化提出了极大挑战。比如发电行业的燃气分布式能源系统，包括燃机、锅炉、汽机、抽汽阀门、减温减压阀等众多设备，工艺流程复杂；并且系统多输入(燃气、水、电)、多输出(冷、热、电)的特点，使得人工调整很难控制在最优运行模式下，效益、效率都难以保证。

发明内容

本发明的目的在于克服现有技术中存在的上述不足，而提供一种面向能源系统运行优化的强化学习控制系统，解决了由于能源系统输入燃料，输出电、冷/热能，具有能源多样性，调控复杂等特性，机组结构复杂，耦合性强，人工调控又往往取决于人工经验，不同人员的运行操作水平参差不齐，导致系统运行存在不经济或低效率等情况的问题。

本发明解决上述问题所采用的技术方案是：一种面向能源系统运行优化的强化学习控制系统，其特征是，包括以下部分：

1)系统结构

强化学习控制系统包括能源系统(如燃气分布式能源系统)、运行数据模块(数据库)、收益评估模块(奖励项)、偏差计算模块(惩罚项)和智能体(运行优化)。

能源系统包括能源输入、供能输出和系统控制(如系统负荷调节量)三部分。

运行数据模块存储能源系统的历史运行数据，包括系统每一时刻的能源输入、供能输出和系统控制三种数据。

收益评估模块用于评估不同控制模式在用户需求约束下的系统运行收益(统计历史上所有满足用户需求的运行数据，给出历史上系统运行模式的收益排序)，作为奖励项反馈给智能体模型。

偏差计算模块用于评估用户需求和系统供能输出的差值，作为惩罚项反馈给智能体模型。

智能体通过收益评估模块和偏差计算模块给出系统控制调节增量。系统控制增量表示系统为调整机组运行负荷而增加或者减小调控量。

2)系统模型

运行数据模块采用关系型数据库模型(如MySQL、SQL Server等关系型数据库)，记录系统每一时刻的能源输入、供能输出、系统控制三种数据类型。

收益评估模型针对用户需求量参数，通过数据库查询操作，查询数据中所有满足供能输出与用户需求偏差的数据，并将所有数据对应的系统控制模式按照收益排序，本发明提出的收益可以通过效益或者效率表述，效益和效率的计算公式分别描述如下：

效益计算公式

η＝∑O·P_O-∑I·P_I