[发明专利]基于深度强化学习的能源互联网中虚拟电厂经济调度方法

权利要求书

1.基于深度强化学习的能源互联网中虚拟电厂经济调度方法，其特征在于，该方法包括以下步骤：

步骤一、对于任意区域i，利用区域i的工业侧服务器和电源侧服务器收集来自于区域i的发电侧和用户侧信息，i＝1,2,…,I，I为区域总个数；

利用各区域收集的信息分别对actor-critic网络进行训练，以分别获得利用各区域信息训练好的actor-critic网络；

所述actor-critic网络的目标函数为：

其中：C为区域i的总运营成本，为区域i在时隙k的光伏投资初始折旧成本，k＝0,1,…,K，为区域i在时隙k的光伏运营和维护成本，为区域i在时隙k的风力涡轮机初始折旧成本，为区域i在时隙k的风力涡轮机运行和维护成本，为区域i在时隙k的微型燃气轮机初始折旧成本，为区域i在时隙k的微型燃气轮机运行和维护成本，为区域i在时隙k的微型燃气轮机环保成本，为区域i在时隙k的微型燃气轮机自身消耗的成本，λ为补偿系数，为区域i在时隙k的可控制负载，x_i(k)为区域i在时隙k的选择可中断负载百分比向量，x_i(k)的取值范围为[0,1]；

所述actor-critic网络中的actor网络的具体训练过程为：

所述actor网络由mu网络和sigma网络构成，且mu网络和sigma网络均由2个全连接层构成；

mu网络和sigma网络的第1个全连接层的激活函数均为tanh，输入维度均为5，输出维度均为h；

mu网络和sigma网络的第2个全连接层的激活函数均为softplus，输入维度均为h，输出维度均为m；

将发电侧和用户侧的信息输入mu网络和sigma网络后，获得mu网络和sigma网络的输出；再对mu网络和sigma网络的输出进行正态随机采样，获得actor网络输出的4维动作；

所述actor-critic网络中的critic网络的具体训练过程为：

所述critic网络由全连接层构成；

将发电侧和用户侧的信息和actor网络输出的4维动作输入critic网络的全连接层后，再将全连接层的输出进行拼接，获得拼接结果，并对拼接结果进行线性变换，获得critic网络输出的一维回报值；

步骤二、将训练好的actor-critic网络分别部署在对应区域的边缘节点；

步骤三、各区域的工业侧服务器和电源侧服务器实时收集来自于发电侧和用户侧的信息，并将收集的信息输入对应边缘节点上的actor-critic网络，实时获得各区域的决策信息。

2.根据权利要求1所述的基于深度强化学习的能源互联网中虚拟电厂经济调度方法，其特征在于，所述步骤一中，利用各区域收集的信息分别对VPP运营商云服务器的actor-critic网络进行训练，采用的是异步的方法，同时并行运行8个线程。

3.根据权利要求2所述的基于深度强化学习的能源互联网中虚拟电厂经济调度方法，其特征在于，所述actor-critic网络的回报函数的表达式为：

其中：K₁、K₂、K₃和K₄均为权重值。