[发明专利]一种面向能源系统运行优化的强化学习控制系统有效

专利信息
申请号: 202011534595.0 申请日: 2020-12-23
公开(公告)号: CN112859591B 公开(公告)日: 2022-10-21
发明(设计)人: 王恒涛;张宇龙;孙思宇;柳玉宾;纪宇飞;程思博 申请(专利权)人: 华电电力科学研究院有限公司
主分类号: G05B13/04 分类号: G05B13/04
代理公司: 杭州天欣专利事务所(普通合伙) 33209 代理人: 张狄峰
地址: 310030 浙江省杭州*** 国省代码: 浙江;33
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 面向 能源 系统 运行 优化 强化 学习 控制系统
【权利要求书】:

1.一种面向能源系统运行优化的强化学习控制系统,其特征是,包括以下部分:

1)系统结构

强化学习控制系统包括能源系统、运行数据模块、收益评估模块、偏差计算模块和智能体;

能源系统包括能源输入、供能输出和系统控制三部分;

运行数据模块存储能源系统的历史运行数据,包括系统每一时刻的能源输入、供能输出和系统控制三种数据;

收益评估模块用于评估不同控制模式在用户需求约束下的系统运行收益,作为奖励项反馈给智能体模型;

偏差计算模块用于评估用户需求和系统供能输出的差值,作为惩罚项反馈给智能体模型;

智能体通过收益评估模块和偏差计算模块给出系统控制调节增量;系统控制增量表示系统为调整机组运行负荷而增加或者减小调控量;

2)系统模型

运行数据模块采用关系型数据库模型,记录系统每一时刻的能源输入、供能输出、系统控制三种数据类型;

收益评估模型针对用户需求量参数,通过数据库查询操作,查询数据中所有满足供能输出与用户需求偏差的数据,并将所有数据对应的系统控制模式按照收益排序,提出的收益η可以通过效益η1或者效率η2表述,效益和效率的计算公式分别描述如下:

效益计算公式

其中O表示系统的供能输出,对应供能输出价格,I表示系统的能源输入,对应能源输入价格,表示数据求和,相同符号下同;

效率计算公式

其中对应供能输出热值,对应能源输入热值;

偏差计算模型

其中R表示用户需求量;

智能体即系统运行优化模型,采用强化学习训练模型;

由于能源系统的特殊性,无法直接利用能源系统本身进行强化学习训练,故采用运行数据库模型实现模型训练,训练方法如下:

根据用户需求,实时查询数据库中满足需求的系统控制模式,并提取出来,进行收益评估和偏差计算,通过智能体的动作模式调节,实时计算出在不同增减量下的系统收益和惩罚,反馈给智能体,强化训练动作调节带来的系统收益最大,从而实现控制模型的训练;系统反馈量表示如下:

其中分别表示奖励项和惩罚项的权重,这个根据实际能源系统的控制精度进行设定,权重越大表明奖励项或者惩罚项的反馈力度越大,反之越小;

强化学习训练采用定周期的迭代更新,不断接收能源系统的最新运行数据,实时更新系统的智能体模型;

3)控制模型

智能体通过强化学习,在线学习系统不同用户需求下的最佳运行模式调节方式,实际控制系统时,输出满足用户需求偏差内的系统最佳控制,直接作用在能源系统,实现闭环控制。

2.根据权利要求1所述的面向能源系统运行优化的强化学习控制系统,其特征是,系统模型中,强化学习的对象不是能源系统本身,而是其运行数据数据库。

3.根据权利要求1所述的面向能源系统运行优化的强化学习控制系统,其特征是,收益评估不仅仅表示经济效益方面的收益,也可表示为以提高系统效率为目标的收益。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华电电力科学研究院有限公司,未经华电电力科学研究院有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202011534595.0/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top