[发明专利]多主体博弈环境下基于深度强化学习的建筑负荷需求响应方法

权利要求书

1.多主体博弈环境下基于深度强化学习的建筑负荷需求响应方法，其特征在于，包括以下步骤：

S1以建筑物为单位收集电力系统中建筑物的负荷数据，建立建筑物中用电负荷的负荷模型，根据建筑物中用电负荷的负荷模型，以建筑物为单位对每个建筑物的需求响应建立马尔可夫博弈过程模型，分别提取每个建筑物的动作空间和观测空间；

S2根据电力系统的稳定性需求以及不同建筑物之间的博弈关系设计奖励函数，定义需求响应下马尔可夫博弈过程的策略纳什均衡，根据需求响应下马尔可夫博弈过程构建多主体博弈的深度强化学习环境；

S3分别对每个建筑物设计智能体，智能体中包含一个策略网络和一个价值网络，每个智能体策略网络根据用户自身的负荷状态和价值函数输出结果更新参数，输出负荷的动作序列，价值网络用于评估整个电力系统的状态，价值网络收入所有的建筑物的状态，输出当前整个电力系统的负荷可调潜力；

S4使用建筑物的负荷数据训练价值网络和策略网络，最终整个电力系统收敛至策略纳什均衡。

2.如权利要求1所述的方法，其特征在于，所述S1中负荷模型包括不响应负荷模型，温控负荷模型和储能系统负荷模型；其中，温控负荷模型包括空调系统负荷模型和供暖系统负荷模型；

所述不响应负荷模型为：

其中，指编号为的建筑物不响应负荷的功率，指编号为的建筑物在开启时刻到关闭时刻之间的平均功率，指电力系统内所有建筑物不响应负荷的总功率；

所述空调系统负荷模型为：

其中，指建筑物室内等效热容，指建筑物室外的等效热阻，指建筑物时刻空调系统的总功率，指空调系统的等效能源效率，指时刻建筑物的等效室内温度，指时刻建筑物的等效室外温度，指时间，单位为小时；

所述供暖系统负荷模型为：

其中，代表供暖系统内流体的质量，代表供暖系统循环水管内流体的比热容，

表示供暖系统散热器内流体的储热系数，代表时间，单位为小时，和A_p分别为循环水管的等效传热系数和接触面积，U_r和A_r表示散热器的等效传热系数和等效面积，U_wall和A_wall表示建筑物外墙的等效传热系数和等效面积，U_win和A_win表示建筑物窗户的等效传热系数和等效面积，T_r表示散热器内流体的等效温度，T_out表示建筑物室外的环境温度，T_in表示建筑物室内的环境温度，Q_s指其他设备产生的热能，等于不响应负荷在单位时间内产生的热能。

所述储能系统的负荷模型为：

其中，SOC_t指储能系统在t时刻的荷电状态，SOC_t-1指储能系统在t-1时刻的荷电状态，表示储能系统在t时刻的充电功率，表示储能系统在t时刻的输出功率，η_charge和η_output表示储能系统的充电效率指数和放电效率指数，η_loss指储能系统随时间的损耗指数，Δt指t-1和t之间的时间间隔。

3.如权利要求1所述的方法，其特征在于，所述S1中每个建筑物的动作空间由该建筑物的负荷可调参数组成，观测空间由建筑物的负荷数据组成，分别包含以下参数：

其中，S_i，t表示i栋建筑在t时刻的负荷数据观测值，A_i，t表示i栋建筑在t时刻的负荷可调参数，表示电力系统内建筑物i不响应负荷的总功率，T_out指建筑物的室外温度，T_in指建筑物的室内温度，Q_s指其他设备产生的热能，指建筑物t时刻的空调系统的总功率，SOC_t指储能系统的荷电状态，指储能系统的充电功率，指储能系统的输出功率，表示t时刻编号为i的建筑物空调系统的可调参数，表示t时刻编号为i的建筑物供暖系统的可调参数，表示t时刻编号为i的建筑物储能系统的可调参数。。