[发明专利]用于计算机辅助控制和/或调节技术系统的方法

权利要求书

1.用于计算机辅助控制和/或调节燃气涡轮机的方法，其中：

a)燃气涡轮机的动态特性对于多个时间点(t)分别通过燃气涡轮 机的状态(s_t，x_t)以及在燃气涡轮机上所执行的动作(a_t)来表征，其 中在相应时间点(t)的相应动作(a_t)引向燃气涡轮机在下一时间点 (t+1)的后续状态(s_t+1，x_t+1)；

b)学习具有多个数据组的动作选择规则，其中每个数据组都包 括燃气涡轮机在相应时间点(t)的状态(s_t，x_t)、在状态(s_t，x_t)所执 行的动作(a_t)以及后续状态(s_t+1，x_t+1)，并且给每个数据组分配评 估(r_i)，其中动作选择规则的学习包括以下步骤：

i)通过包括燃气涡轮机的状态(s_t，x_t)和动作(a_t)作为参数的一 个或多个神经网络(N_a(s))来建模品质函数(Q(s，a))；

ii)根据最优性判据来学习所述一个或多个神经网络(N_a(s))，其中 所述最优性判据依赖于数据组的评估(r_i)以及品质函数(Q(s，a))；

c)燃气涡轮机通过以下方式被调节和/或控制，即利用所学习的动 作选择规则根据所学习的所述一个或多个神经网络(N_a(s))来选择在燃 气涡轮机上要执行的动作(a_t)。

2.根据权利要求1所述的方法，其中品质函数(Q(s，a))通过所 述一个或多个神经网络(N_a(s))来建模，使得把评估函数(R(s，a，s′)) 与数据组的评估(r_i)相匹配。

3.根据权利要求1或2所述的方法，其中在步骤c)中在相应状 态(s_t，x_t)中选择如下的动作(a_t)，即对于所述动作通过所述一个或 多个神经网络(N_a(s))生成品质函数(Q(s，a))的最高值。

4.根据权利要求1或2所述的方法，其中品质函数(Q(s，a))利 用多个神经网络(N_a(s))来建模，其中所述多个神经网络(N_a(s))中的每 个网络构成前馈网络，所述前馈网络具有包括燃气涡轮机的相应状态 (s_t，x_t)的输入层(I)、一个或多个隐藏层(H)以及包括品质函数 (Q(s，a))的输出层(O)，其中每个神经网络(N_a(s))都把在相应状态 (s_t，x_t)可能的要执行的动作(a_t)参数化。

5.根据权利要求1或2所述的方法，其中品质函数(Q(s，a))通 过唯一的神经网络来建模，其中该神经网络构成前馈网络，所述前馈 网络具有包括燃气涡轮机的相应状态(s_t，x_t)以及在相应状态(s_t，x_t) 可执行的动作(a_t)的输入层(I)、一个或多个隐藏层(H)以及包 括品质函数(Q(s，a))的输出层(O)。

6.根据权利要求1或2所述的方法，其中使用反向传播方法来 学习所述一个或多个神经网络(N_a(s))。

7.根据权利要求1或2所述的方法，其中最优性判据被选择， 使得燃气涡轮机的最佳动态特性被参数化。

8.根据权利要求1或2所述的方法，其中最优性判据是贝尔曼 残余的最小化。

9.根据权利要求1或2所述的方法，其中最优性判据是达到贝 尔曼迭代的固定点。