[发明专利]一种基于深度强化学习的储能系统管理方法及装置

说明书

本申请适用于深度学习技术领域，尤其涉及一种基于深度强化学习的储能系统管理方法及装置，该方法包括：建立储能系统模型；根据储能系统模型设定安全约束条件；构建符合所述安全约束条件的所述储能系统的双层状态空间；构建与所述双层状态空间对应的双层动作空间并获取当所述储能系统模型收到控制指令时，所述双层状态空间因所述控制指令产生的反馈值；结合所述双层动作空间构建动作‑惩罚一体函数；通过动作‑惩罚一体函数推理控制策略，以获取储能系统经济效益及用户满意度最高的控制策略。本申请针对智能储能系统提出一种基于深度学习的分层优化策略，该策略的经济效益更好、用户满意度更高，具有较强的实用性。

技术领域

本申请属于深度学习技术领域，尤其涉及一种基于深度强化学习的储能系统管理方法及装置。

背景技术

2021年是“双碳”战略背景下的关键年份，也是户用型储能系统“爆发”前的时间节点。但与此同时，分布式能源的大规模的接入导致微电网不确定因素急剧增加，户用储能系统也面临着巨大挑战。例如能量供给响应不及时、能源利用率不高等问题。以智能储能系统为基础，搭配可靠，安全，高效的能量管理系统，不仅能实现对家庭用电设备的实时管控，也能大幅度的提升微网系统的可靠性。从而提升分布式能源大规模并网的容量可信度，优化电网电能质量，同时也降低了调度难度。

目前国内外针对户用型智能储能管理系统的研究不是很多，目前来说大部分都集中在能量管理系统以及负载监控上两个方面上，对于能量管理系统目前的控制策略主要分为并网型、离网型、离并网一体，侧重点在于削峰填谷、抑制波动等策略上，但是这些策略过于笼统，并没有针对不同的用户制定不同的用电策略。而负载监控停留在符合识别方向上，绝大部分采取侵入式与数据采集对用电负载进行识别，但是这样识别的结果误差过大可信度不高，且不具有实际作用。最后针对智能优化算法来说，关于模型求解使用较多的为启发式优化算法，而启发式优化算法极易陷入局部最优，收敛精度以及收敛速度受到自身限制，难以对整体负载进行判断，难以同时兼顾经济效益和用户使用的满意度。

发明内容

本申请实施例的第一方面，提供了一种基于深度强化学习的储能系统管理方法，该方法包括以下步骤：

建立储能系统模型；

根据所述储能系统模型设定安全约束条件；

构建符合所述安全约束条件的所述储能系统的双层状态空间，其中，所述双层状态空间包括用于表示所述储能系统的经济效益最大化与满意度最高的优化调度的第一层状态空间；以及用于表示所述储能系统的充放电控制的第二层状态空间；

构建与所述双层状态空间对应的双层动作空间并获取当所述储能系统模型收到控制指令时，所述双层状态空间因所述控制指令产生的反馈值，其中，所述双层动作空间包括用于表示系统负载的变化量的第一层动作空间；以及用于表示充放电变化量的第二层动作空间；

结合所述双层动作空间构建动作-惩罚一体函数，所述动作-惩罚一体函数用于根据所述反馈值给予所述储能系统模型正向或反向惩罚；

通过动作-惩罚一体函数推理控制策略，以获取储能系统经济效益及用户满意度最高的控制策略。

进一步的，所述储能系统模型通过以下式获得：

其中，P_ESS为储能系统的额定功率；Q_ESS为储能系统的额定容量；表示储能系统的充电效率，表示储能系统的放电效率；表示为储能系统在t时刻的充电状态变量；表示储能系统在t时刻的放电状态变量。

进一步的，所述安全约束条件包括电池电量约束、储能系统周期性约束、储能系统充放电约束储能系统调度总功率约束和削峰填谷约束，其中，

电池电量约束以式表示，与分别表示所述储能系统荷电状态的上下限；