[发明专利]一种基于深度强化学习的压缩机故障诊断方法

权利要求书

1.一种基于深度强化学习的压缩机故障诊断方法，其特征在于，包括：

采集压缩机的实时运行数据，输入至已训练好的特征提取模型，以提取所述实时运行数据的特征；所述特征提取模型用于以无监督的方式提取输入数据的特征，所述特征用于表征在对应的运行数据下，所述压缩机处于各故障类型的概率；运行数据包括：压缩机吸气温度、压缩机吸气压力、压缩机排气温度、压缩机排气压力、压缩机电流和压缩机频率；

将所述实时运行数据的特征输入至已训练好的故障诊断模型，以由所述故障诊断模型输出所述压缩机所处的故障类型；所述故障诊断模型为深度强化学习模型，用于以输入的特征为状态，预测在该状态下能够得到最大奖励值时所采取的动作，并获得与该动作相对应的故障类型作为所述压缩机的故障诊断结果；在给定状态下，所述深度强化学习模型的一个动作用于预测所述压缩机在所述给定状态处于某一种故障状态；

所述特征提取模型为自编码器模型中的编码器，其训练方法包括：

建立自编码器模型，其中的编码器用于提取输入数据的特征，解码器用于根据编码器提取的特征重构数据；

获取所述压缩机在不同故障状态下的历史运行数据，并输入所建立的自编码器模型以对所述自编码器模型进行训练，在训练过程中，不断调整所述自编码器模型的参数以使重构误差最小；

在所述自编码器训练结束后，将其中的编码器作为所述特征提取模块。

2.如权利要求1所述的基于深度强化学习的压缩机故障诊断方法，其特征在于，所述故障诊断模型的训练方法包括如下步骤：

(S1)建立深度强化学习模型，并初始化Q表，并利用所述特征提取模块提取所述历史运行数据的特征作为训练数据集；

所述Q表的行与状态对应，所述Q表的列与动作对应，每个单元格的值是给定状态和动作下奖励总和期望的最大值；

(S2)采用ε-greedy策略在当前状态s_t选择一个动作a_t，以由环境反馈在状态s_ｔ下选择动作a_ｔ的奖励，根据奖励计算得分，并进入下一个状态s_t+1；

动作a_ｔ对应的故障诊断结果正确时，奖励为正值，动作a_ｔ对应的故障诊断结果错误时，奖励为负值；得分与所有奖励的累加值正相关；

(S3)按照更新所述Q表；

(S4)按时序依次将所述训练数据集中的特征作为当前状态，并执行步骤(S2)～(S3)，直至达到最大的迭代次数，以完成一个轮次的迭代训练，输出相应的得分并转入步骤(S5)；

(S5)重复执行步骤(S4)，以进行多个轮次的迭代训练，直至获得最高得分；

其中，Q_new(s_ｔ，a_ｔ)和Q(s_ｔ，a_ｔ)分别表示更新前、后所述Q表中状态s_ｔ和动作a_ｔ对应的单元格的值，R_t+1表示在状态s_ｔ采取动作a_ｔ的奖励，α表示学习率，a表示动作集合，γ表示折扣率，表示状态s_t+1下采取所有可能动作中的最大奖励。

3.如权利要求2所述的基于深度强化学习的压缩机故障诊断方法，其特征在于，得分计算规则为：动作a_t对应的故障诊断结果正确时，得分加x；动作a_t对应的故障诊断结果错误时，得分减x；

其中，x＞0。

4.一种计算机可读存储介质，其特征在于，包括存储的计算机程序；所述计算机程序被处理器执行时，控制所述计算机可读存储介质所在设备执行权利要求1-3任一项所述的基于深度强化学习的压缩机故障诊断方法。