[发明专利]基于深度强化学习的航空发动机剩余使用寿命估计方法

权利要求书

1.一种基于深度强化学习的航空发动机剩余使用寿命估计方法，其特征在于，包括如下步骤：

步骤1：收集航空发动机状态监控传感器数据以及对应的剩余使用寿命值，组成航空发动机剩余使用寿命历史数据库；

步骤2：基于步骤1中的航空发动机剩余使用寿命历史数据库，对传统的航空发动机剩余使用寿命估计过程，建立其对应的马尔可夫决策过程模型；

步骤3：初始化航空发动机寿命估计策略深度学习模型，迭代次数i＝0，最大迭代次数N，航空发动机寿命估计数据总数n；

步骤4：初始化交互步数t＝0；

步骤5：根据当前的航空发动机寿命估计策略深度学习模型，对当前接收到的航空发动机传感器特征数据进行一次剩余使用寿命估计，根据剩余使用寿命估计值以及实际剩余使用寿命值，马尔可夫模型给出相应的奖励值；并将当前估计交互数据存储，并判断是都已经到达终止状态：t≥n？，若满足条件，则进行下一步，否则继续与航空发动机寿命估计马尔可夫模型进行估计交互；

步骤6：基于最新的n步剩余使用寿命估计交互数据，使用深度强化学习算法，对当前的剩余使用寿命估计策略深度学习模型进行更新，并增加迭代次数：i＝i+1，判断i≥N？，若满足条件则终止训练，否则返回步骤4继续训练。

2.根据权利要求1所述的一种基于深度强化学习的航空发动机剩余使用寿命估计算法，其特征在于，步骤1中的航空发动机状态监控传感器数据包括21种航空发动机可测参数，分别为：风扇进口总温、低压压气机出口总温、高压压气机出口总温、低压涡轮出口总温、风扇进口压力、外涵道总压、高压压气机出口总压、风扇物理转速、核心机物理转速、发动机压比、高压压气机出口静压、耗油率与高压压气机出口静压之比、修正风扇转速、修正核心机转速、外涵比、燃烧室油气比、抽气焓、额定风扇转速、额定修正风扇转速、高压涡轮冷却气抽气量、低压涡轮冷却气抽气量。

3.根据权利要求2所述的一种基于深度强化学习的航空发动机剩余使用寿命估计算法，其特征在于，步骤2中，针对航空发动机剩余使用寿命估计过程，建立其对应的马尔可夫决策过程模型，包括以下内容：

1)状态：发动机寿命估计模型的状态量s_t即为发动机传感器数据样本，包括所述的21种航空发动机可测参数；

2)初始状态：初始状态即为航空发动机剩余使用寿命数据库中，第一个样本的传感器数据值；

3)动作：动作值a_t即为对发动机传感器故障数据所作的剩余使用寿命估计值，为大于0的实数；

4)奖励函数：奖励值r_t表征当前的航空发动机寿命估计策略，对当前样本所作剩余使用寿命估计的准确度，定义如下：

其中t表示当前时刻，表示当前样本的实际剩余使用寿命值；

5)状态转移概率：在航空发动机剩余使用寿命估计马尔可夫决策过程模型中，状态转移概率P(s_t+1|s_t,a_t)为确定值，即马尔可夫环境按照航空发动机剩余使用寿命数据库中的样本顺序，由当前样本s_t转移到下一样本s_t+1；

6)剩余使用寿命估计策略π_θ：策略π_θ实现对当前航空发动机传感器数据样本剩余使用寿命的估计；

7)终止：当马尔可夫模型转移到航空发动机剩余使用寿命数据库中的终止状态是，当前估计交互任务终止，返回终止信号Terminal。

4.根据权利要求1所述的一种基于深度强化学习的航空发动机剩余使用寿命估计算法，其特征在于，步骤3中的深度学习模型为卷积神经网络及全连接神经网络的组合模型，当前的发动机状态监控数据s_t输入航空发动机寿命估计深度学习模型，依次经过卷积神经网络、全连接神经网络处理，最后输出控制策略数据或者值函数。