[发明专利]基于深度强化学习的微电网储能调度方法及装置及设备

说明书

本发明公开了一种基于深度强化学习的微电网储能调度方法及装置及设备，首先，依据所控新能源微电网建立与之对应的仿真模型，并依据微电网仿真模型将微电网储能调度转换为马尔可夫决策问题；然后，根据微电网日前的新能源发电、负荷及电价数据训练建立的储能系统智能体，在训练中，储能系统智能体从环境获得的奖励达到稳定后，保存网络参数并结束训练；最后，将已训练好的储能系统智能体用于微电网储能系统的实时调度，在以小时计的各个能量调度时间储能系统根据微电网实时的发电量和负荷需求进行充放电控制。本发明充分利用微电网内的可再生能源，减少可再生能源对主电网的冲击，实现微电网运行成本的最小化。

技术领域

本发明属于电力调度工程技术领域，尤其涉及智能电网储能系统实时调度。

背景技术

随着传统化石能源的逐渐消耗、环境的污染问题凸显以及人类社会发展带来对能源需求的不断增长，能源环境问题愈发受到全球各国的关注，开发利用可再生能源是解决环境污染和能源危机的有效手段。但是由于可再生能源的间歇性和波动性，直接将大规模的可再生能源并网将影响电网的稳定性。为了充分利用可再生能源，微电网的应用得到了广泛的重视。微电网是指由多种分布式电源、负荷、储能以及相关保护控制装置构成的小型电力系统，将可再生能源以微电网形式接入配电网是能够有效发挥分布式电能。

由于可再生能源的随机性、间歇性，多样化负荷的波动特性，微电网的运行控制对灵活性、实时性的要求也越来越高。由于微电网同时面临能源侧和负荷侧的不确定性，这使得对于微电网的准确建模难以完成，且微电网的优化决策场景也难以表述为明确的数学表达式，所以在考虑新能源和负荷随机波动的情况下设计一个稳定的微电网的能量调度策略对于发展微电网至关重要。

储能系统是微电网的重要组成部分，储能系统可以通过合理的充放电策略来提高微电网对分布式新能源的消纳能力，也可以配合微电网的能量管理策略在微电网的日常运行中降低微电的运行成本。以储能系统的控制方法为核心来研究微电网的调度策略是应对微电网优化运行问题的关键所在。

近年来，随着人工智能的兴起，将强化学习应用于电力系统中的研究也越来越多。强化学习方法是求解序贯决策的无模型方法，通过智能体与不确定环境的互动获取反馈来学习在环境中获得最大奖励的策略。微电网储能系统的能量调度可以抽象为马尔可夫决策过程，将强化学习应用于微电网能量管理可以有效解决微电网决策优化难以准确建模且状态维数过大导致实时计算成大的问题。

发明内容

本发明所要解决的技术问题就是提供一种基于深度强化学习的微电网储能调度方法，能够很好地适应微电网的实时能量调度。

为解决上述技术问题，本发明采用如下技术方案：基于深度强化学习的微电网储能调度方法，包括如下步骤：

首先，依据所控新能源微电网建立与之对应的仿真模型，并依据微电网仿真模型将微电网储能调度转换为马尔可夫决策问题，以此建立储能系统智能体及对应的观测状态量、动作值以及奖励函数；

然后，根据微电网日前的新能源发电、负荷及电价数据训练建立的储能系统智能体，在训练中，储能系统智能体从环境获得的奖励达到稳定后，保存网络参数并结束训练；

最后，将已训练好的储能系统智能体用于微电网储能系统的实时调度，在以小时计的各个能量调度时间储能系统根据微电网实时的发电量和负荷需求进行充放电控制。

优选的，建立微电网仿真模型包括以下子步骤：

(1.1)建立储能系统模型：使用动态模型来表示储能系统，P_b(t)表示在每个时间t储能系统的充电或放电功率，储能系统电量状态用SOC(t)表示，则储能系统的SOC动态模型为：

其中，ξ、η分别表示储能系统的放电效率和充电效率，同时在任一时刻，储能系统只能充电或者放电或者闲置；E_c代表的是储能系统的容量；Δt表示储能充电或放电的时间间隔；