[发明专利]一种面向能源系统运行优化的强化学习控制系统有效
申请号: | 202011534595.0 | 申请日: | 2020-12-23 |
公开(公告)号: | CN112859591B | 公开(公告)日: | 2022-10-21 |
发明(设计)人: | 王恒涛;张宇龙;孙思宇;柳玉宾;纪宇飞;程思博 | 申请(专利权)人: | 华电电力科学研究院有限公司 |
主分类号: | G05B13/04 | 分类号: | G05B13/04 |
代理公司: | 杭州天欣专利事务所(普通合伙) 33209 | 代理人: | 张狄峰 |
地址: | 310030 浙江省杭州*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 面向 能源 系统 运行 优化 强化 学习 控制系统 | ||
1.一种面向能源系统运行优化的强化学习控制系统,其特征是,包括以下部分:
1)系统结构
强化学习控制系统包括能源系统、运行数据模块、收益评估模块、偏差计算模块和智能体;
能源系统包括能源输入、供能输出和系统控制三部分;
运行数据模块存储能源系统的历史运行数据,包括系统每一时刻的能源输入、供能输出和系统控制三种数据;
收益评估模块用于评估不同控制模式在用户需求约束下的系统运行收益,作为奖励项反馈给智能体模型;
偏差计算模块用于评估用户需求和系统供能输出的差值,作为惩罚项反馈给智能体模型;
智能体通过收益评估模块和偏差计算模块给出系统控制调节增量;系统控制增量表示系统为调整机组运行负荷而增加或者减小调控量;
2)系统模型
运行数据模块采用关系型数据库模型,记录系统每一时刻的能源输入、供能输出、系统控制三种数据类型;
收益评估模型针对用户需求量参数,通过数据库查询操作,查询数据中所有满足供能输出与用户需求偏差的数据,并将所有数据对应的系统控制模式按照收益排序,提出的收益η可以通过效益η1或者效率η2表述,效益和效率的计算公式分别描述如下:
效益计算公式
其中
效率计算公式
其中对应供能输出热值,对应能源输入热值;
偏差计算模型
其中
智能体即系统运行优化模型,采用强化学习训练模型;
由于能源系统的特殊性,无法直接利用能源系统本身进行强化学习训练,故采用运行数据库模型实现模型训练,训练方法如下:
根据用户需求,实时查询数据库中满足需求的系统控制模式,并提取出来,进行收益评估和偏差计算,通过智能体的动作模式调节,实时计算出在不同增减量下的系统收益和惩罚,反馈给智能体,强化训练动作调节带来的系统收益最大,从而实现控制模型的训练;系统反馈量表示如下:
其中分别表示奖励项和惩罚项的权重,这个根据实际能源系统的控制精度进行设定,权重越大表明奖励项或者惩罚项的反馈力度越大,反之越小;
强化学习训练采用定周期的迭代更新,不断接收能源系统的最新运行数据,实时更新系统的智能体模型;
3)控制模型
智能体通过强化学习,在线学习系统不同用户需求下的最佳运行模式调节方式,实际控制系统时,输出满足用户需求偏差内的系统最佳控制,直接作用在能源系统,实现闭环控制。
2.根据权利要求1所述的面向能源系统运行优化的强化学习控制系统,其特征是,系统模型中,强化学习的对象不是能源系统本身,而是其运行数据数据库。
3.根据权利要求1所述的面向能源系统运行优化的强化学习控制系统,其特征是,收益评估不仅仅表示经济效益方面的收益,也可表示为以提高系统效率为目标的收益。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华电电力科学研究院有限公司,未经华电电力科学研究院有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011534595.0/1.html,转载请声明来源钻瓜专利网。