[发明专利]一种基于混合学习的分布式能源优化调度方法及装置

权利要求书

1.一种基于混合学习的分布式能源优化调度方法，其特征在于，所述方法应用于分布式能源系统，所述分布式能源系统包括多个微电网，每个所述微电网内设置有边缘节点、多个终端用户和多个分布式电源，每个所述终端用户对应一个光伏产消者，所述方法包括：

根据分布式能源系统中所有微电网的联合状态，采用每个所述微电网的决策函数，确定每个所述微电网内的每个所述光伏产消者的最优动作；所述联合状态包括每个所述微电网的本地观测状态，所述本地观测状态至少包含微电网内部所有光伏产消者进行能量共享后的总净负荷值，所述决策函数基于嵌入有训练后的XGBoost模型的多智能体深度确定性策略梯度算法训练获得；

调整每个所述微电网内的每个光伏产消者的最优动作，使每个所述微电网内的每个光伏产消者的最优动作均满足设备运行约束，获得每个所述微电网内的每个光伏产消者的一次调整后的最优动作；

调整每个所述微电网内的每个光伏产消者的一次调整后的最优动作，使每个所述微电网内的每个光伏产消者的一次调整后的最优动作均满足网络运行约束，获得每个所述微电网内的每个光伏产消者的二次调整后的最优动作；

基于每个所述微电网内的每个光伏产消者的二次调整后的最优动作，对分布式能源系统进行优化调度；

所述根据分布式能源系统中所有微电网的联合状态，采用每个所述微电网的决策函数，确定每个所述微电网内的每个所述光伏产消者的最优动作，之前还包括：

获取数据集；所述数据集包括多个数据样本，每个所述数据样本中的输入向量为，每个所述数据样本中的输出向量为；其中，为第d个数据样本中的输入向量，为第d个数据样本中的输出向量，和分别为售电能激励因子和购电能激励因子，和分别为光伏产消者基准负荷和光伏出力，为光伏产消者的负荷调节量；

基于所述数据集，采用监督学习的方式对XGBoost模型进行训练，获得训练后的XGBoost模型；

将训练后的XGBoost模型嵌入至多智能体深度确定性策略梯度算法中，采用训练后的XGBoost模型，确定每个微电网中每个光伏产消者的负荷调节量，进而确定每个微电网内部所有光伏产消者进行能量共享后的总净负荷值，并将每个微电网内部所有光伏产消者进行能量共享后的总净负荷值添加至用于确定决策函数的本地观测向量中；

采用嵌入有训练后的XGBoost模型的多智能体深度确定性策略梯度算法训练获得决策函数；

所述基于所述数据集，采用监督学习的方式对XGBoost模型进行训练，获得训练后的XGBoost模型，具体包括：

基于所述数据集采用递增的训练方法对XGBoost模型进行迭代训练，直到目标损失函数的值小于预设阈值；所述目标损失函数为：

；

其中，为目标损失函数，表示数据样本上的模型量化误差，表示避免模型过拟合的模型复杂度正则化，表示第轮迭代的预测结果，为第i个微电网的模型量化误差，为第K棵树的输出结果，第K棵树为第轮迭代增加的新树，表示为避免模型过拟合对第k棵树进行复杂度正则化处理的函数，K为前轮迭代获得的树的总棵树，N表示微电网的数量；

所述采用嵌入有训练后的XGBoost模型的多智能体深度确定性策略梯度算法训练获得决策函数，具体为：

将每个微电网视为一个智能体，包括多个微电网的分布式能源系统的策略集表示为：；

其中，表示策略集，、和分别表示第1个、第i个和第N个微电网的策略函数，N表示微电网的数量；

对于每个所述微电网，根据t时刻的本地观测状态，基于在线策略网络和目标策略网络，决策出t时刻的动作；其中，为t时刻第i个微电网的本地观测状态向量，为t-1时刻第i个微电网内部柴油发电机的出力，为t时刻第i个微电网内部风机的预测出力，为t时刻第i个微电网内部所有光伏产消者进行能量共享后的总净负荷值，为t时刻第i个微电网内部储能的SOC值，和为t时刻外部大电网的购分时电价和售分时电价，为t时刻第i个微电网的动作，为t时刻第i个微电网内部柴油发电机的出力，和分别为t时刻第i个微电网内部储能的充电功率和放电功率，和分别为t时刻第i个微电网内部购电能激励因子和内部售电能激励因子；

根据决策出的每个所述微电网t时刻的动作，基于在线评价网络输出每个微电网的在线评价函数值，基于目标评价网络输出目标评价函数值；

基于所述每个微电网的在线评价函数值和目标评价函数值，更新每个微电网的在线策略网络的参数和在线评价网络的参数，并更新目标策略网络的参数和目标评价网络的参数；

返回对于每个所述微电网，根据t时刻的本地观测状态，基于在线策略网络，决策出t时刻的动作的步骤，直到预设迭代次数，输出参数更新后的每个微电网的在线策略网络分别作为每个微电网的决策函数；

更新在线评价网络的参数的公式为：

；

其中，和分别为更新前在线评价网络的参数和更新后在线评价网络的参数，是预设的价值网络学习率，为数据样本的数量，为在线评价网络的输出，为第个数据样本中t时刻第i个微电网的本地观测状态向量，为第个数据样本中第i个微电网在线策略网络决策出的t时刻的动作，为第个数据样本中除第i个微电网外其余微电网决策出的t时刻的动作，为在线评价函数的梯度，为第个数据样本的经验估计回报；

更新在线策略网络的参数的公式为：

；

其中，和分别为更新后和更新前的在线策略网络的参数，为预设的策略网络学习率，为采样策略梯度函数；

更新目标评价网络的参数的公式为：

；

其中，和分别为更新后和更新前的目标评价网络的参数，为预设的更新参数；

更新目标策略网络的参数的公式为：

；

其中，和分别为更新后和更新前的目标策略网络的参数。