[发明专利]一种采用Q学习的高比例光伏微网无功均分控制方法

权利要求书

1.一种采用Q学习的高比例光伏微网无功均分控制方法，其特征在于，具体包括以下步骤：

步骤1，构造基于Q学习的高比例光伏微电网无功控制模型：针对采用下垂控制的分布式光伏，定义Q学习重要变量，其中以微网总无功偏差量作为奖励函数的依据，构建电压幅值和无功功率之间的反馈；

步骤2：采集各光伏无功偏差量，进行Q学习：根据采集到各光伏的无功偏差量对全局反馈奖励值进行评估以及优化修正，并更新Q值函数；

步骤3，基于Q学习的微电网无功均分控制方法：根据最大奖励Q值对应动作控制分布式光伏输出电压幅值，将各光伏电压调节的值作为无功电压控制二次控制的补偿值，进而协调控制分布式光伏无功输出，实现含高比例光伏微网系统的无功均分，减少系统环流。

2.根据权利要求1所述的采用Q学习的高比例光伏微网无功均分控制方法，其特征在于，步骤1中，定义Q学习重要变量(状态集S、动作集A、奖励函数R)具体方法为：

步骤1.1：定义状态集S；

微网中各分布式光伏发出的无功功率视作环境状态；无功偏差ΔQ_reac可以划分为一系列的离散区间，如{ΔQ₁，ΔQ₂，…，ΔQ_m}，其对应的环境状态集S为{s₁，s₂，…，s_m}；每个PV的状态集表示为：

Q_avg＝Q_load/N 式(2)

式中：Q_i,reac为PV_i的无功输出值；Q_avg为微电网稳定运行时平均无功；Q_load为系统无功负荷；N为分布式光伏总数；

步骤1.2：定义动作集A；

当交流微电网脱离主网，稳态工作状况下的频率是一个全局量，并联运行的分布式光伏有功功率输出依据下垂系数精确分配，即有功与等效阻抗无关；考虑到输出电压是局部变量，各PV间的无功偏差则由PV输出电压幅值差、线阻差以及微电网结构等因素决定；本文中无功电压下垂控制动作集A含义是：使微网当下时刻的某状态s过转变到更佳状态s′的动作策略的集合；故每个PV的动作集定义为：

A＝{a₁,a₂,...,a_L}＝{k_qQ₁,k_qQ₂,...,k_qQ_L} 式(3)

式中：a_jj＝k_qQ_jj，jj∈{1,…,L}；下标L为动作数目；

步骤1.3：定义奖励函数R；

动作执行后的立即奖励值会直接影响Q值，而Q值大小可以直接体现所选动作执行效果的好坏；对于考虑电压不越限的无功均分问题，执行基于Q算法所选动作后，会产生两种差异显著的结果：一是系统仍存在未实现无功均分，说明Q学习还未完成，为此，将总无功偏差ΔQ_total对应的奖励值r_i设置为负值，即进行惩罚；二是系统实现无功均分，对此，将ΔQ_total对应的奖励值置零；

使用ΔQ_total定义奖励值，如式(4)所示：

式中：b₁～b₄、μ₁～μ₄为固定参数，且μ₁μ₂μ₃μ₄；ΔQ_total为全部PV的Q_i,reac与微网均值Q_avg间差的绝对值和；

动作a的全局奖励值由各DG奖励值累加所得。