[发明专利]一种基于深度增强学习的可中断负荷优选方法

权利要求书

1.一种基于深度增强学习的可中断负荷优选方法，其特征在于，包括：

(1)通过智能电表及量测装置获取t时刻系统的观测状态；

(2)根据当前状态采取相应的需求响应控制策略，得到配电网即时回报模型；

(3)为了使长远回报最大化，需要采取最优的动作，定义所选负荷需求响应的动作估值函数Q^π(s_t,a_t)，根据环境的运行状态观测值，通过迭代进行动作估值函数更新，得到最优动作估值函数的目标值

(4)由目标值与神经网络预计输出Q^π′(s_t,a_t,ω)得到神经网络偏差函数，利用小批量梯度下降法更新神经网络参数，完成增强学习；

(5)读取量测装置中数据获取k时刻实时状态s_k，送入已经训练完成的神经网络中，选出最佳可中断负荷点。

2.根据权利要求1所述的基于深度增强学习的可中断负荷优选方法，其特征在于，所述步骤(1)包括：

在所有节点安装智能电表监测其功率，随机选出四个节点作为一组可中断负荷，在DER接入节点处安装量测装置获取电压数据，故系统可观测的状态s_t表示为其中，为t时刻各末端节点i的电压，P_t^j为t时刻各可中断负荷j的功率，N_U、N_C分别为电压观测节点集合和所选负荷接入节点集合。

3.根据权利要求1所述的一种基于深度增强学习的可中断负荷优选方法，其特征在于，所述步骤(2)包括：

(2.1)根据当前状态s_t采取相应的需求响应控制策略a_t，按照中断或不中断两种状态考虑，相应设定t时刻的动作函数a_t表示为为第j个所选负荷的状态变量，只有0或1两种取值，取值为0代表中断供电，取值为1代表不中断，保证可中断负荷动作后末端节点电压在允许范围内的情况下，选出用户满意度最高的一组可中断负荷点，故建立配电网即时运行回报模型r_t+1为其中所选节点j的中断控制得分和满意度得分与其对应权重w^IL和w^user加权求和得到，权重的数值可由虚拟电厂根据具体的运行目标来选择；

(2.2)对于采用相邻两个采样时间负荷的状态改变量来定义中断控制得分，若状态改变，回报取负值，否则取值为0；

(2.3)对于满意度评分选取负荷动作后功率变化为参考，按照负荷动作后功率P_t^j变化超过不同数值，取为不同负值。

4.根据权利要求1所述的一种基于深度增强学习的可中断负荷优选方法，其特征在于，所述步骤(3)包括：

定义IL需求响应的动作估值函数如下：

Q^π(s_t,a_t)＝E[r_t+1+λr_t+2+λ²r_t+3+…|s_t,a_t]＝E[r_t+1+λQ^π(s_t+1,a_t+1)|s_t,a_t]

上式中，π代λ∈[0,1]表控制策略，E代表期望值，r_t+1代表执行完具体动作a_t后的即时回报，称为折合因子，表明未来回报相对于当前回报的重要程度，最优动作估值函数的目标值由贝尔曼方程可推出为式中A_t+1代表在t+1时刻所有能执行动作的集合，根据环境的运行状态观测值，通过迭代进行动作估值函数更新，具体公式如下：

其中α为学习速率，满足0≤α≤1。