[发明专利]一种基于分布式日志分析的电力系统运行状态监视方法

摘要

本发明公开了一种基于分布式日志分析的电力系统运行状态监视方法，包括如下步骤：S1，获取电力系统的日志信息，并将其合并成日志文件；S2，将日志文件进行分割，对其进行处理得到统一格式的日志信息，使日志文件中的日志信息逐条序列化输出到分布式存储系统中；S3，从分布式存储系统中提取日志信息，结合Map‑Reduce机制，采用基于状态噪点移除聚类的日志分析算法对日志信息进行分类处理，并通过对分类后的日志信息进行分析来监视系统运行状态。本发明在系统发生异常时，能及时发现电力系统运行状态的异常，并在第一时间进行处理，有效满足电力系统及时、高效的运行要求。

主权项

1.一种基于分布式日志分析的电力系统运行状态监视方法，其特征在于包括如下步骤：S1，获取电力系统的日志信息，并将其合并成日志文件；S2，将日志文件进行分割，对其进行处理得到统一格式的日志信息，使日志文件中的日志信息逐条序列化输出到分布式存储系统中；S3，从分布式存储系统中提取日志信息，结合Map‑Reduce机制，采用基于状态噪点移除聚类的日志分析算法对日志信息进行分类处理；通过对分类后的日志信息进行分析来监视电力系统运行状态；包括如下步骤：S31，从分布式存储系统中提取日志信息，将其根据抓取日志信息的节点所在位置，按照系统日志、应用程序日志、访问日志进行粗分类，把只包含单一类日志信息的节点单分一类，再与三类日志信息都包含的节点取并集；粗分类之后形成不同类别的日志文件，在各类别中构建其相似度矩阵，并在分类集中挑选一点作为中心点；S32，以k最邻近算法确定日志A和日志B的邻近点列表，当且仅当日志A与日志B都在对方的临近点列表中时，两点间才建立一条链接，将相似度矩阵中与某点无链接的点所对应的相似度设为零，实现相似度矩阵的稀疏化，对于稀疏后的相似度矩阵，将相似度矩阵中点与点及其权重边绘制出来，以构建包含全部日志类别的共享最临近图；S33，采用Map机制，对于共享最临近图中的每个点，汇总该点距其他点的距离长度；S34，采用Reduce机制，将Map机制汇总的距离长度求和，生成新的键值对；S35，选择距离长度和最大的点作为相似度矩阵的中心点，覆盖原中心点，对于离距长度和小于长度阈值的点，将其标记为噪点，不再作为类簇中心点；S36，在所有点与点的链接中，移除权重比阈值小的链接，选取彼此链接的点作为一个类簇，使每一个类簇代表一个类别日志信息；S37，根据不同类别日志信息采取进一步分析，得到反映电力系统运行状态的信息，通过观察这些信息的变化实现对电网运行状态的监视。