[发明专利]多园区综合能源调度方法和系统

说明书

本发明实施例提供一种多园区综合能源调度方法和系统，其中所述方法包括：基于每个园区的新能源、储能、能量转换设备和多能用户，对每个园区分别建立一个强化学习智能体；将每个强化学习智能体输入到多智能体深度确定性策略梯度模型，采用分散执行方法在真实物理空间进行调度决策；所述多智能体深度确定性策略梯度模型是采用集中训练方法在虚拟环境中进行训练后得到。本发明实施例建立单个园区的强化学习智能体，然后基于建立的多智能体深度确定性策略梯度模型，采用集中训练方法在虚拟环境中进行训练，采用分散执行方法在真实物理空间进行调度决策，不依赖对不确定量的准确预测，保护了各园区的隐私，同时降低了各个园区的运行成本。

技术领域

本发明涉及多园区综合能源领域，尤其涉及一种多园区综合能源调度方法和系统。

背景技术

多园区综合能源系统的协同优化运行能充分利用多能耦合的灵活性，释放分布式资源的潜力，进一步降低运行成本，同时可减轻对外部能源网络的依赖。但多主体利益分配问题、隐私保护需求以及多重不确定量的存在给多园区协同运行带来了巨大挑战。

目前对多园区综合能源系统协同优化调度方法的研究主要有集中优化和分布式优化两种方法。例如，一种基于可再生能源配额制的多园区综合能源系统优化调度模型，并采用集中优化进行求解，可有效提高系统可再生能源消纳能力，减少系统碳排放，并保证系统经济性。集中优化需要一个集中决策者，需要各个园区的详细设备信息和负荷数据等，会对通信造成较大负担，不利于隐私的保护。考虑到集中优化存在的问题，很多现有技术利用分布式优化算法求解多园区协同优化问题。例如同一能源配送网络下多能源枢纽的协同优化运行问题，采用基于交替方向乘子法(ADMM)的分布式优化算法进行求解，保护了个能源枢纽的隐私，保证了调度的相对独立性。

上述方案并没有考虑多利益主体的收益分配问题，也较少考虑新能源出力以及多能负荷的多重不确定性。基于数据驱动的强化学习算法(RL)无需对不确定量进行精准预测，目前已有较多的研究将强化学习应用于综合能源系统的决策控制中，例如采用将RL和传统优化方法进行结合的方式，提出了一种双层强化学习模型以实现综合能源系统的实时经济调度。但上述研究多将强化学习应用于将综合能源系统建模成单智能体的场景中，尚缺乏对强化学习应用在综合能源系统多利益主体场景中的研究。

发明内容

本发明提供一种多园区综合能源调度方法和系统，用以解决现有技术中存在的技术缺陷。

本发明提供一种多园区综合能源调度方法，包括：

基于每个园区的新能源、储能、能量转换设备和多能用户，对每个园区分别建立一个强化学习智能体；

将每个强化学习智能体输入到多智能体深度确定性策略梯度模型，采用分散执行方法在真实物理空间进行调度决策；

所述多智能体深度确定性策略梯度模型是采用集中训练方法在虚拟环境中进行训练后得到。

根据本发明实施例所述的多园区综合能源调度方法，所述基于每个园区的新能源、储能、能量转换设备和多能用户，对每个园区分别建立一个强化学习智能体包括获取每个园区的用能成本和调度变量，每个园区的用能成本包括购能成本和售能收益，每个园区的调度变量主要为电锅炉的运行功率电储能系统充放电功率总购电量总售电量总购热量和总售热量

其中，每个园区的用能成本公式和调度变量公式如下：

其中，分别代表与外部电网、与外部热网、与内部其他园区的交易成本，分别表示外部电网购售价格、内部电力交易购售价格、外部热网购售价格、内部热力交易购售价格。

根据本发明实施例所述的多园区综合能源调度方法，所述每个园区的用能成本和调度变量的约束条件包括功率平衡约束：

其中，表示电锅炉的效率。