[发明专利]基于深度强化学习的航空发动机剩余使用寿命估计方法

说明书

本发明提供一种基于深度强化学习的航空发动机剩余使用寿命估计方法，根据航空发动机寿命估计的需求和特点，将其视为一种序列性的决策问题，因此建立对应的马尔可夫决策过程模型。针对此马尔可夫模型，制定了状态动作奖赏等交互规则，同时设计了寿命估计奖励函数，并且根据航空发动机寿命估计数据的特点，提出了寿命估计策略的深度学习模型。最后，利用深度强化学习算法，在此马尔可夫模型中学得最优的航空发动机寿命估计估计策略。本发明克服了传统的监督学习方法所带来的过拟合风险，有利于求得更优的航空发动机寿命估计策略，可以提高航空发动机寿命估计的准确度，改善视情维修的及时性，增强飞机飞行的安全性，节省不必要的维护费用。

技术领域

本发明针对航空发动机剩余使用寿命估计领域，首先将航空发动机剩余使用寿命估计问题建模为马尔可夫序列决策过程模型，然后利用深度强化学习(DeepReinforcement Learning)算法求得最优的剩余使用寿命估计策略，从而提高航空发动机剩余使用寿命估计的准确度。

背景技术

由于老化或其他突发状况，当代的工业系统有时会发生严重的故障。因此机器的维护管理在现代工业活动中起着关键的作用。视情维修(Condition-based Maintenance,CBM)作为一种高效的维护策略，已经被广泛应于现代的工业系统中。预断学(Prognostics)作为CBM实施的关键推动力，在CBM中起着重要的作用。预断技术通常备被用来分析所收集到的机器状况监控数据(Condition Monitoring,CM)。通过对CM数据的分析，机器的潜在故障信息可以被提前诊断出，因此可以安排适当及时的维修。CBM可以用来避免发生灾难性的错误，并且减少不必要的维修损失。在预断学中，一个关键性的技术即是对机器的剩余使用寿命进行估计(remaining useful life,RUL)。RUL表示机器距离发生故障或失效所剩余的使用时间。只要准备的预估出RUL的数值，则机器的故障时间可以提前准确的预知，相应的维修计划也可以及时得到安排。因此一个准确的剩余使用寿命估计模型可以提高系统的可靠性，改善机器维护的高效性，并且节省不必要的经济损失。由于其种种优点以及重要性，剩余使用寿命估计已经吸引了许多研究兴趣。

通常，目前存在的剩余使用寿命估计的方法可以分为三类：1)基于模型的方法。2)句驱动的方法。3)混合方法。若给出准确地物理系统退化过程模型，基于模型的方法可以准确的预估出剩余使用寿命值。然而，这种建模需要大量的对物理系统的先验知识，然而这些先验知识在实际过程中通常难以获得。另一方面，数据驱动的方法可以直接学习到机器的状态监控数据与剩余使用寿命之间的映射关系。在数据驱动方法中，无需关于机械系统的先验知识。并且随着传感器技术的发展，可以收集越来越多的机器监控数据。因此，基于数据驱动的方法目前在剩余使用寿命领域越来越受欢迎。

机器学习算法具有较强的泛化能力。近些年来，在数据驱动方法领域，越来越多的机器学习法被用来学习剩余使用寿命与机器监控数据之间的映射关系。例如，在2016年，支持向量回归(Support Vector Regression,SVR)算法被用来进行剩余使用寿命估计。在2016年，卷积神经网络(Convolutional Neural Networks,CNN)被用来进行剩余使用寿命估计方法的研究。同样在2016年，随机森林(Random Forest(RF))，梯度提升(GradientBoosting,GB)，极限学习机(Extreme Learning Machine,ELM)算法，多层感知机(Multi-layer Perceptron,MLP)，深度置信神经网络(Deep Belief Network,DBN)算法，被应用于剩余使用寿命估计。在2016年，多目标进化算法集成的深度置信神经网络被提出，用于剩余使用寿命估计。在2017年，长短时记忆神经网络(Long Short-Term Memory networks,LSTM)被应用于剩余使用寿命估计。在2018年，双向的LSTM神经网络被应用于使用寿命估计。在2019年，CNN混合LSTM被提出应用于剩余使用寿命估计。在2020年，双向门循环单元和CNN的混合算法被提出，并成功应用于航空发动机寿命估计领域，取得了优异的效果。