[发明专利]基于深度Q学习的多微网被动并离网切换控制方法

权利要求书

1.基于深度Q学习的多微网被动并离网切换控制方法，其特征在于包括以下步骤：

步骤一：当配电网发生故障时，判断多微网电源出力与联络线上产生功率缺额的大小关系，若多微网电源出力能够弥补联络线上产生的功率缺额，则被动并离网切换过程结束；若多微网电源出力难以弥补联络线上产生的功率缺额，则进入步骤二；

步骤二：将多微网内光伏、储能、负荷实时功率和联络线上产生的功率缺额，作为多微网运行环境信息，通过卷积神经网络提取多微网运行环境信息，构建状态空间和动作空间；

所述步骤二中，状态空间表示为：

其中：S为状态空间；为光伏实时发电功率；为储能设备实时功率；为三相负荷实时功率；P_t^PS为联络线实时功率缺额；

动作空间表示为：

其中：A为动作空间；为三相负荷实时动作；

步骤三：基于优先经验回放机制，构建切换控制模型；

所述步骤三中，切换控制模型的采样经验i，其概率计算公式为：

其中：p_i为第i个经验转移元组的优先级；p_k为第k个经验转移元组的优先级；α表示控制优先性使用的程度；

所述切换控制模型中，基于等级的优先级表示为：

p_i＝1/rank(i)

其中：rank(i)为回放内存排序时转换i的秩；

步骤四：构建奖励值函数；

步骤四中，奖励值函数表示为：

其中：R(s_t,s_t+1,a)为奖励值函数；P^PS为联络线上产生的功率缺额；P_a为动作a下切除的负荷功率；V^*(a)为动作a下的最终评价值；

步骤五：利用优先级采样方式代替均匀采样，通过更新卷积神经网络参数，输出负荷动作信息，得到最优减载策略。

2.根据权利要求1所述基于深度Q学习的多微网被动并离网切换控制方法，其特征在于：所述步骤一中，联络线上产生的功率缺额表示为：

P^PS＝∑P_BES+∑P_PV-∑P_LD

其中：P^PS为联络线上产生的功率缺额；∑p_BES为多微网系统内所有储能功率之和；∑p_PV为多微网系统内所有光伏功率之和；∑p_LD为多微网系统内所有负荷功率之和。

3.根据权利要求1所述基于深度Q学习的多微网被动并离网切换控制方法，其特征在于：所述步骤五中，通过更新卷积神经网络参数，具体如下：

其中：Q(s_t,a_t)为Q学习算法中值函数；s_t和s_t+1分别为多微网当前功率缺额状态和下一时刻功率缺额状态；α_t为当前时刻减载动作；α为智能体的学习率；γ为折扣因子；R(s_t,s_t+1,a)为奖励值函数。