[发明专利]一种基于强化学习的风电互联系统的LFC控制方法

权利要求书

1.一种基于强化学习的风电互联系统的LFC控制方法，其特征在于：

S101：构建三区互联电力系统；所述三区互联电力系统包括：火电厂频率控制系统、水电厂频率控制系统和火风发电频率控制系统，其中三个控制系统中任意两个系统的频率偏差输出信号，作为另外一个控制系统中控制器的输入信号，实现三区互联；

S102：将强化学习控制器作用于三区互联电力系统中，采用基于强化学习的方法对三区互联电力系统进行控制。

2.如权利要求1所述的基于强化学习的风电互联系统的LFC控制方法，其特征在于：所述强化学习控制包括：状态转换器、Actor网络和Critic网络；其单独控制的原理为：

根据实际情况预先给定信号w(t)与输出量y(t)相减，产生误差信号e(t)；误差信号e(t)经过状态转换器转变为强化学习网络的输入状态信号x(t)；状态信号x(t)输入至Actor网络，得到输出信号u_n(t)；状态信号x(t)与误差的强化学习信号r(t)一起输入至Critic网络，得到输出信号n(t)；输出信号u_n(t)与n(t)相结合，得到被控光伏发电系统的控制输入信号u(t)；u(t)作用于被控光伏发电系统，得到输出信号y(t)形成闭环控制；Actor网络和Critic网络还通过时序差分信号δ_TD(t)在线更新Actor网络和Critic网络的权值系数。

3.如权利要求2所述的基于强化学习的风电互联系统的LFC控制方法，其特征在于：采用两个BP网络分别完成所述Actor网络的策略函数和所述Critic网络的值函数功能。

4.如权利要求3所述的基于强化学习的风电互联系统的LFC控制方法，其特征在于：

所述Critic网络的输入为状态信号

x_c(t)＝[x₁(t),x₂(t)L,x_n(t),r(t)]^T (1)，

Critic网络误差函数如式(2)所示，

其中λ为折扣系数，0λ1；

r(t)定义为：

其中为ε0的常数；

Critic网络隐含层神经元的转移函数采用双极性sigmoid函数，如式(4)所示：

Critic网络输出为性能指标函数J(t)，其隐含层采sigmoid激活函数，输出层则采用线性激活函数；Critic网络的隐含层和输出层神经元的输入和输出如式(5)：

其中N_c为评价网络隐含层神经元的个数，q_i和p_i分别为隐含层第i个神经元的输入和输出，ω_c⁽¹⁾和ω_c⁽²⁾分别表示输入层到隐含层与隐含层到输出层的权值；

Critic网络权值更新计算如公式(6)：

η_c(t)是Critic网络的学习速率；

根据反向梯度下降法得到从隐含层到输出层梯度计算如式(7)所示：

从输入层到隐含层梯度计算式如式(8)所示：