[发明专利]一种基于SARSA的变循环航空发动机推力控制方法

权利要求书

1.一种基于SARSA的变循环航空发动机推力控制方法，其特征在于，包括下述步骤：

步骤1：基于变循环航空发动机仿真模型，设计用于变循环航空发动机推力控制的SARSA控制器：

步骤1.1：选择所述变循环航空发动机仿真模型的部分输出变量以及推力相关参数作为SARSA控制器的输入；其中，所述推力相关参数包括推力偏差、推力偏差导数、目标推力，所述推力偏差为反馈推力与目标推力间的偏差；

步骤1.2：选择所述变循环航空发动机仿真模型的部分输入变量作为SARSA控制器的输出；

步骤1.3：设定学习目标为推力偏差≤预设的偏差阈值；

步骤2：对所述SARSA控制器的输入参数也即状态参数、输出参数也即动作指令分别进行区间划分，并设计奖励规则；

步骤3：使用变循环航空发动机仿真模型对SARSA控制器进行训练，更新SARSA控制器内部的Q表；

步骤4：将贪婪因子置0，对Q表进行仿真测试，验证测试结果是否满足学习目标，若未满足，则转至步骤3；反之，保存Q表；

所述步骤1中，所述部分输出变量包括高压转子转速、低压转子转速，所述部分输入变量包括燃油流量；

所述步骤2包括下述步骤：

步骤2.1：对SARSA控制器的输入参数进行区间划分：将推力偏差划分为a₁个区间、推力偏差导数划分为a₂个区间、目标推力划分为a₃个区间、高压转子转速划分为a₄个区间、低压转子转速划分为a₅个区间；

步骤2.2：对SARSA控制器的输出参数进行区间划分：将燃油流量离散为d个动作指令；

步骤2.3：设计奖励规则：以推力偏差、当前推力为奖励依据，若当前推力小于预设的推力阈值，则给出奖励为-b；若当前推力大于或等于预设的推力阈值，则将推力偏差的绝对值划分为c个区间，对推力偏差的绝对值的每个区间设定相应的奖励，推力偏差的绝对值越小奖励越高；其中，b、c均为正值；

所述步骤3包括下述步骤：

步骤3.1：初始化Q表：将Q表中的数据全部置零；

步骤3.2：初始化S为变循环航空发动机的当前状态，使用ε-贪婪法在状态S下选取动作A：

其中，random A表示从动作集合中随机选取动作A，表示选择使Q(S,A)值最大的动作A，Q(S,A)为在状态S下执行动作A的动作价值函数，rand为随机数，ε为贪婪因子；

步骤3.3：在状态S下执行动作A，变循环航空发动机进入下一状态S'，得到奖励R；

步骤3.4：使用ε-贪婪法在状态S'下选取动作A'，并在状态S'下执行动作A'；

步骤3.5：更新Q表中状态S和动作A对应的Q(S,A)，更新规则为

Q(S,A)＝Q(S,A)+α(R+γQ(S',A')-Q(S,A))

其中，R+γQ(S',A')-Q(S,A)为TD误差，α为学习率，γ为衰减因子；

步骤3.6：若S'为终止状态或仿真时间达到预设的最大仿真时间，则迭代结束；反之，令S＝S'，A＝A'，转至步骤3.3，进入下一次迭代；其中，所述终止状态为推力偏差大于预设的偏差阈值的状态。