[发明专利]基于深度强化学习的配电网负荷转供方法

权利要求书

1.一种基于深度强化学习的配电网负荷转供方法，其特征在于，包括：

步骤1、初始化主神经网络Q(S，A，ω，α，β)和与主神经网络Q的网络结构完全一样的目标网络T(S，A，ω^*，α^*，β^*)，初始化经验经验池R、折扣因子γ、学习率L_r、目标网络更新频率N_replace、抽样数量N_batch，设置结束状态的标志位Done＝0，所述主神经网络Q、目标网络T和经验池构成配电网的智能体；

步骤2、配电网发生故障，开始负荷转供；

步骤3、读取配电网的实时状态信息，将配电网的实时状态信息输入到主所述智能体，所述智能体根据配电网的实时状态信息计算出每个动作的评价值；

步骤4、所述智能体基于每个动作的评价值根据动作策略选取相应的动作；

步骤5、智能体对配电网执行所述动作，得到动作后配电网的状态S′，对配电网的动作及动作后的状态进行评价,根据约束条件与目标函数计算奖励Reward，根据奖励Reward和结束规则确定Done的值，完成一次配电网开关动作后，将本次配电网开关动作作为经验样本e＝(s，a，r，s′)存储在经验池R中；

步骤6、从经验池R中随机采样所述抽样数量N_batch个经验样本，根据采样的经验样本利用所述折扣因子γ计算目标值，基于所述目标值和学习率L_r通过最小化损失函数对主神经网络Q(S，A，ω，α，β)中的参数ω，α，β进行更新；

步骤7、当主神经网络经过N_replace次更新后，使用主神经网络Q的参数ω，α，β对目标网络T的参数ω^*，α^*，β^*进行更新：

步骤8、依据结束标志位Done判断是否结束序列动作，Done＝0，返回步骤4；Done＝1，退出循环，本次配电网的负荷转供过程处理结束。

2.根据权利要求1所述的方法，其特征在于，所述的步骤1还包括：

定义配电网负荷转供操作中的系统状态空间、动作空间以及奖励函数，智能体与配电网环境交互由数组[S，A，P(s，s′)，R(s，a)，Done]表示，其中S表示配电网可能的状态所构成的状态空间，A表示可能的动作集合，P(s，s′)表示从配电网状态s转移到s′的转移概率，R(s，a)是在状态s时采取了a动作，触发了相关的奖励，其被反馈给智能体，Done为结束状态的标志位，智能体主动选择终止本次决策或由于违反约束条件而被环境终止继续操作时，Done被设置为1，正常决策步骤时，Done保持为0；

状态空间被定义为一个数组S＝[V，I，SW，F]，V是电压向量组，其用来表示配电网中各个节点处所有相位的电压值，V_in为第i个节点的第n个相位的电压值；I为电流向量组，其用来表示配电网中所有线路中各个相位的电流值，I_in为第i条线路的第n个相位的电流值；SW为配电网中所有开关的状态值向量，SW_i为第i个开关的状态，为0表示打开，为1表示闭合；F为表示配电网线路故障状态的向量，F_i为编号为i的线路的故障状态，0表示正常，1表示发生故障。

3.根据权利要求1所述的方法，其特征在于，所述的步骤1还包括：

所述智能体采用Dueling-DQN算法，所述Dueling-DQN算法利用深度神经网络进行计算，所述用深度神经网络包括主神经网络Q和目标网络T，所述主神经网络Q和目标网络T包括：公共隐藏层、价值函数V和优势函数B；

价值函数V与优势函数B的公共隐藏层采用了2层神经网络，用来提取输入状态量的特征，第一层有30*N_feature个神经元，其中N_feature为输入状态量的个数，所有神经元直接接受状态数据的全连接输入，并添加了偏置bias，激活函数为Relu函数；第二层与第一层进行全连接，也有30*N_feature个神经元；

所述智能体采用Dueling-DQN算法对所述主神经网络Q和目标网络T的输出结果进行计算，计算出每个动作的的评价值。