[发明专利]基于马尔可夫决策过程的输变电设备最佳检修决策方法

摘要

本发明公开了一种基于马尔可夫决策过程的输变电设备最佳检修决策方法，包括：建立不同状态之间的转移关系的输变电设备状态转移关系图；根据输变电设备状态转移关系图建立输变电设备状态检修模型；利用马尔可夫过程求解输变电设备不同状态的稳态概率；建立检修策略以及检修策略对应的报酬之间的函数关系式；以在检修策略下使得报酬序列的某个函数值最大为序列决策问题的目标建立基于马尔可夫的输变电设备检修决策模型；根据输变电设备不同状态的稳态概率，采用策略迭代法求解最优的检修决策。本发明有益效果：应用马尔可夫决策可以折中维修成本和故障损失，得到经济最优的检修决策，为检修决策人员提供参考。

主权项

1.基于马尔可夫决策过程的输变电设备最佳检修决策方法，其特征是，包括：(1)设定输变电设备的状态形式，建立不同状态之间的转移关系的输变电设备状态转移关系图；所述步骤(1)中，如果输变电设备安装了在线监测装置，则建立CBM模型；该模型下输变电设备的状态形式包括：老化状态D，检查状态I、检修状态M和故障状态F；其中，老化状态D按照老化严重程度依次划分为正常状态D₁、注意状态D₂和异常状态D₃；检修状态分为小修和大修；从老化状态D_i到老化状态D_i+1的平均时间观测值的倒数定义为从老化状态D_i到老化状态D_i+1的状态转移率λ_i；状态D_i的两次检查平均间隔时间的倒数定义为状态D_i的检查率γ_i；检查状态持续时间的倒数定义为状态转移率δ；维修状态持续时间的倒数定义为状态转移率μ；所述步骤(1)中，如果输变电设备没有安装在线监测装置，则建立IBM模型；该模型下输变电设备的状态形式包括：老化状态D，检查状态I、检修状态M和故障状态F；其中，老化状态D按照老化严重程度依次划分为正常状态D₁、注意状态D_2,1、D_2,2和异常状态D_3,1、D_3,2和D_3,3；检修状态分为小修和大修；从老化状态D_i到老化状态D_i+1的平均时间观测值的倒数定义为从老化状态D_i到老化状态D_i+1的状态转移率λ_i；状态D_i的两次检查平均间隔时间的倒数定义为状态D_i的检查率γ_i；检查状态持续时间的倒数定义为状态转移率δ；维修状态持续时间的倒数定义为状态转移率μ；(2)根据输变电设备状态转移关系图建立输变电设备状态检修模型；(3)利用马尔可夫过程求解输变电设备不同状态的稳态概率；(4)建立检修策略以及检修策略对应的报酬之间的函数关系式；以在检修策略π下使得报酬序列ν的某个函数值最大为序列决策问题的目标建立基于马尔可夫的输变电设备检修决策模型；所述步骤(4)中，基于马尔可夫的输变电设备检修决策模型用一个包含五个元素的元组<T,S,A,p,r>来描述，其中：1)T为所有决策时刻的点集，即选取行动的时间点被称为决策时刻，为有限点集或可列无限点集；对于离散模型，两个相邻的决策时刻被称为决策周期或者阶段；2)S是系统所有可能的状态所组成的非空的可数状态集，也称为状态空间；3)A为对应i∈S在该状态可采用的行动集合，每个状态都存在着有限集；4)p表示系统动态的状态转移特性；p(s_n+1|s_n,a_n)表示当系统处于状态s_n，并采取行动a_n∈A时，系统在状态转移后处于状态s_n+1的概率；5)r表示期望报酬，系统在状态s_n采取了行动a_n∈A所获得的期望报酬记为r(s_n,a_n)；所述步骤(4)中，引入折扣率β∈(0,1)来表示未来时刻的报酬在当前时刻的价值；则系统从状态s_n出发的折扣期望报酬为：其中，ν(s_n,π)为检修策略π对应着的报酬序列；p(s_n+1|s_n,π)为当系统处于状态s_n，并采取检修策略π时，系统在状态转移后处于状态s_n+1的概率(5)根据输变电设备不同状态的稳态概率，采用策略迭代法求解最优的检修决策；所述步骤(5)中，采用策略迭代法求解最优的检修决策具体方法为：步骤一：取初值，设迭代步数n＝0，任取一种初始检修策略π∈Π；步骤二：检修策略求值，解方程：(I‑βP(π_n))ν＝r(π_n)；其中，I为单位矩阵，P(π_n)为转移概率矩阵；r(π_n)为报酬矩阵；β为折扣率；ν为期望报酬值；得到当前策略的期望报酬值V_β(π_n)；步骤三：检修策略的改进，选取π_n+1为一个V_β(π_n)的改进规则，即满足：步骤四：如果π_n+1＝π_n，停止，此时，π_n+1＝π_n为最优检修策略，V_β(π_n+1)＝V_β(π_n)为最优期望报酬；否则令n＝n+1，返回到步骤二。