[发明专利]一种风场协同控制方法及装置

权利要求书

1.一种风场协同控制方法，其特征在于，所述控制方法包括以下步骤：

接收风场系统中神经网络单元发送的初始代理状态，及接收所述神经网络单元发送的初始代理行为，所述初始代理行为为所述初始代理状态对应的行为；

基于预设的风场分析模型，利用所述初始代理状态及所述初始代理行为确定预执行行为，并确定所述预执行行为的引导奖励；

根据所述引导奖励的收益确定奖励参数，并根据所述奖励参数及所述预执行行为更新所述神经网络单元，得到新的代理状态及新的代理行为，直至所述代理状态及所述代理行为确定的执行行为收敛；

根据所述执行行为生成控制行为信号，利用所述控制行为信号控制所述风场系统；

其中，所述基于预设的风场分析模型，利用所述初始代理状态及所述初始代理行为确定预执行行为，及确定所述预执行行为的引导奖励的步骤包括：

基于所述风场分析模型获取所述初始代理状态对应的标准行为，依照所述标准行为将所述初始代理行为更新为所述预执行行为；

所述标准行为的公式如下：

a_c＝arg max K(s_t,a_c,t)

其中，a_c表示所述标准行为，s_t表示t时刻的观察状态，a_c,t表示t时刻的所述标准行为，K表示所述风场分析模型函数；

所述预执行行为的计算公式如下：

a_e＝(1-γⁱ)·a_o+γⁱ·a_c

其中，a_e表示所述预执行行为，γ表示折现因子，i表示迭代次数，a_o表示所述代理行为，a_c表示所述标准行为；

基于所述风场分析模型确定所述预执行行为对应的引导奖励，所述引导奖励的计算公式如下：

r_g,t＝E(s_t,a_e,t)

其中，r_g,t表示t时刻的引导奖励，E表示用于评估的所述风场分析模型，s_t表示t时刻的观察状态，a_e,t表示t时刻的预执行行为。

2.如权利要求1所述的风场协同控制方法，其特征在于，所述神经网络单元包含：Q网络及策略网络；

则所述接收风场系统中神经网络单元发送的初始代理状态，及接收所述神经网络单元发送的初始代理行为的步骤之前包括：

将所述Q网络进行初始化处理，得到初始代理状态，所述Q网络的表达式如下：

Q(a,s|θ^Q)

其中，a表示所述行为，s表示观察状态，θ^Q表示Q网络参数；

将所述策略网络进行初始化处理，得到初始代理行为，所述策略网络的表达式如下：

μ(s|θ^μ)

其中，s表示所述观察状态，θ^μ表示策略网络参数；

所述初始代理行为的计算公式如下：

a_o,t＝μ(s_t|θ^μ)+N_t

其中，a_o,t表示t时刻的代理行为，μ(s_t|θ^μ)表示所述策略网络选择的所述代理行为，s_t表示t时刻的观察状态，θ^μ表示策略网络参数，N_t表示高斯噪声。