[发明专利]采用多步时域差值学习的故障诊断与预测方法

权利要求书

1.一种采用多步时域差值学习的故障诊断与预测方法，其特征在于，步骤为：

（1）建立马尔可夫回报过程模型；对时间序列的异常状态进行马尔可夫回报过程建模，马尔可夫回报过程表示为一个数组{S,R,P}，其中S代表状态空间，R代表回报函数，P代表状态转移概率，令{x_t|t=0,1,2,…;x_t∈S}表示由马尔可夫回报过程引起的一个轨迹；

（2）数据采集：通过生产过程安装的监控器提供当前状态的状态信息及环境信息，通过一系列的观测量，组成一个完整的观测序列；

（3）实验数据标记：将观测序列转换为状态转移模型，根据检测数据将状态序列标记为正常和不正常；

（4）运用TD学习算法和预测的异常检测方法：基于上述得到的马尔可夫回报过程模型，运用LS-TD(λ)算法来估计评价函数值，即异常可能发生的概率；

（5）异常报警：设置阈值参数，当预测概率高于阈值参数时，系统报警。

2.根据权利要求1所述的采用多步时域差值学习的故障诊断与预测方法，其特征在于，所述步骤（1）中建立马尔可夫回报过程模型的具体流程为：

（1.1）定义马尔可夫回报过程：对每一个从x_t到x_t+1的状态转移，都定义一个回报r_t，状态转移概率满足如下的马尔可夫特性：

P{x_t+1|x_t,x_t-1,...,x₁,x₀}=P{x_t+1|x_t}   （1）

定义状态转移概率：令N(x_i)和A(x_i)分别代表从状态x_i开始的所有可能正常和异常的状态序列组，令C(x_i)为从状态x_i开始所有的状态转移总数，对任意的两个状态x_i和x_j，令C(x_i,x_j)代表从状态x_i到状态x_j的状态序列总数；那么，两个状态x_i,x_j间的状态转移概率定义为：

P(x_i,x_j)=C(x_i,x_j)/C(x_i)   （2）；

（1.2）马尔可夫回报模型，马尔可夫回报过程对连续行为的异常检测可定义为：

IDSs中对拥有完整观测序列S={x₁,x₂,…,x_T}的马尔可夫回报模型M，将其定义为一个三元组{X,R,P},X是所有可能状态的集合，P是给出的状态转移概率，回报函数R:x→r(x)定义为：

r(x)=0,if x=xTandS∈N(x1)1,if x=xTandS∈A(x1)0,if x≠xT]]>   （3）

概率P_a(x)定义为一个完整观测序列的发生异常的可能性，它表示从x开始到成为异常序列：

P_a(x)=P{(x₁,x₂,...,x_T)∈A(x)|x₁=x}   （4）

其次，对每一个状态序列S={x_i}(i=1,2,…,n),异常概率的积累P(S)可以计算为：

P(s)=Σi=1nPa(xi)]]>   （5）；

（1.3）马尔可夫回报模型M的状态评价函数V(x)和状态异常概率P(x)是相等的，即V(x)=P(x)：

马尔可夫回报过程中的评价函数V(x)如下给出：

V(x)=E{Σtγtrt(xt)|x1=x}]]>   （6）。

3.根据权利要求2所述的采用多步时域差值学习的故障诊断与预测方法，其特征在于，所述步骤（4）的具体步骤为：

（4.1）给定：状态转移数据（x_t,x_t+1,r_t)(t=1,2,…,T)，其中，每一拥有长度T的状态转移轨迹被评价为正常或异常，每一个回报方程由式(3)得到；

（4.2）初始化：令t=0；设置初始状态x₀；

（4.3）训练：最大循环迭代数n对每一个状态序列循环：

（4.3.1）对当前状态x_t

·如果x_t是一个同化状态,r(x_t)=r_T,其中r_T是最终回报，

·否则,观察从x_t到x_t+1的状态转移和回报r(x_t,x_t+1),改善z_t、A(X_t)、B(X_t)；

（4.3.2）如果x_t是一个同化状态，如一个状态序列的结尾，重新通过设置x_t+1来初始化观测序列的初始状态；

（4.3.3）当改善后的预测设定好后，计算系数和评价函数；

（4.3.4）t=t+1；

（4.4）输出异常检测问题的评价方程模型{W_LS-TD,φ(x)}；

（4.5）测试：对于测试序列中的每一个状态x'，异常概率可估计为：