[发明专利]基于SARSA的核动力系统蒸汽发生器水位控制方法

权利要求书

1.一种基于SARSA的核动力系统蒸汽发生器水位控制方法，其特征在于，包括下述步骤：

步骤1：设计用于核动力系统蒸汽发生器水位控制的SARSA控制器：从核动力蒸汽发生器系统中选择水位的部分影响因素作为SARSA控制器的输入，从核动力蒸汽发生器系统中选择部分控制量作为SARSA控制器的输出，并设定控制目标；

步骤2：对所述SARSA控制器的输入参数也即状态参数、输出参数也即动作指令分别进行区间划分，并设计奖励规则；

所述步骤2包括下述步骤：

步骤2.1：对SARSA控制器的输入参数进行区间划分：将主给水阀门上一时刻开度划分为a₁个区间、水位偏差划分为a₂个区间、水位偏差导数划分为a₃个区间、流量失匹划分为a₄个区间、流量失匹导数划分为a₅个区间；

步骤2.2：对SARSA控制器的输出参数进行区间划分：将主给水阀门开度离散为b个动作指令；

步骤2.3：以输入参数为列，以输出参数为行，建立表征控制器输入参数与输出参数关系的二维表格，获得Q表；

步骤2.4：设计奖励规则：以水位偏差与水位偏差导数的乘积E为奖励依据，将乘积E划分为c个区间，对乘积E的每个区间设定相应的奖励；

步骤3：对SARSA控制器进行训练，更新SARSA控制器内部的Q表；

步骤4：判断SARSA控制器的训练结果是否满足控制目标，若未满足，则根据训练结果调整SARSA控制器的参数，转至步骤3；反之，保存Q表。

2.根据权利要求1所述的基于SARSA的核动力系统蒸汽发生器水位控制方法，其特征在于，所述步骤1包括下述步骤：

步骤1.1：确定SARSA控制器的输入包括主给水阀门上一时刻开度、水位偏差、水位偏差导数、流量失匹、流量失匹导数这五个状态参数；其中，水位偏差为实际水位与目标水位间的偏差，流量失匹为蒸汽发生器的给水流量与蒸汽流量间的偏差；

步骤1.2：确定SARSA控制器的输出为主给水阀门开度；

步骤1.3：设定控制目标为水位偏差与水位偏差导数的乘积E的绝对值≤预设的乘积阈值。

3.根据权利要求1所述的基于SARSA的核动力系统蒸汽发生器水位控制方法，其特征在于，所述步骤2中，在进行区间划分和奖励规则设计之前，对所有输入参数、输出参数进行阈值标定。

4.根据权利要求1所述的基于SARSA的核动力系统蒸汽发生器水位控制方法，其特征在于，所述步骤3中，在SARSA控制器的训练过程中，

在状态S_t下选取执行动作的依据为

其中，randomA表示从动作集合中随机选取动作A，表示选择使Q(S_t,A)值最大的动作A，Q(S_t,A)为在状态S_t下执行动作A的动作价值函数，rand为随机数，rand∈[0,1]，ε为随机因子，ε∈[0,1]；

Q表的更新规则为

其中，S_t表示t时刻蒸汽发生器输入给控制器的状态，A_t表示t时刻SARSA控制器输出的动作，R_t表示SARSA控制器在状态S_t下执行动作A_t得到的奖励；α表示SARSA控制器的学习速度，α∈(0,1]；γ表示遗忘速度，γ∈(0,1]；isdone为终止标志，isdone＝1表示t时刻达到预设的最大仿真时间、isdone＝0表示t时刻未达到预设的最大仿真时间。

5.根据权利要求1所述的基于SARSA的核动力系统蒸汽发生器水位控制方法，其特征在于，所述步骤3中，SARSA控制器的训练环境为核动力系统蒸汽发生器仿真模型，所述核动力系统蒸汽发生器仿真模型的输入包括给水流量、给水温度、流出的蒸汽流量、一次侧进口比焓、一次侧进口流量、一次侧进口温度，所述核动力系统蒸汽发生器仿真模型的输出包括蒸汽发生器水位、蒸汽腔室压力、一次侧出口比焓、一次侧出口温度。

6.根据权利要求4所述的基于SARSA的核动力系统蒸汽发生器水位控制方法，其特征在于，所述步骤4中，根据训练结果调整SARSA控制器的参数的方法为：

计算训练结果也即水位偏差与水位偏差导数的乘积E的绝对值相对于预设的乘积阈值的波动，当该波动超出可容许震荡范围时，对学习速度α、遗忘速度γ、随机因子ε中的一个或多个进行调整；其中，对学习速度α的调整为调大或调小，对遗忘速度γ的调整为调大或调小，对随机因子ε的调整为调小，学习速度α与遗忘速度γ的调整幅度均在0.01～0.05内，随机因子ε的调整幅度在0.01～0.08内。