[发明专利]一种基于分布式日志分析的电力系统运行状态监视方法

权利要求书

1.一种基于分布式日志分析的电力系统运行状态监视方法，其特征在于包括如下步骤：

S1，获取电力系统的日志信息，并将其合并成日志文件；

S2，将日志文件进行分割，对其进行处理得到统一格式的日志信息，使日志文件中的日志信息逐条序列化输出到分布式存储系统中；

S3，从分布式存储系统中提取日志信息，结合Map-Reduce机制，采用基于状态噪点移除聚类的日志分析算法对日志信息进行分类处理；通过对分类后的日志信息进行分析来监视电力系统运行状态；包括如下步骤：

S31，从分布式存储系统中提取日志信息，将其根据抓取日志信息的节点所在位置，按照系统日志、应用程序日志、访问日志进行粗分类，把只包含单一类日志信息的节点单分一类，再与三类日志信息都包含的节点取并集；粗分类之后形成不同类别的日志文件，在各类别中构建其相似度矩阵，并在分类集中挑选一点作为中心点；

S32，以k最邻近算法确定日志A和日志B的邻近点列表，当且仅当日志A与日志B都在对方的临近点列表中时，两点间才建立一条链接，将相似度矩阵中与某点无链接的点所对应的相似度设为零，实现相似度矩阵的稀疏化，对于稀疏后的相似度矩阵，将相似度矩阵中点与点及其权重边绘制出来，以构建包含全部日志类别的共享最临近图；

S33，采用Map机制，对于共享最临近图中的每个点，汇总该点距其他点的距离长度；

S34，采用Reduce机制，将Map机制汇总的距离长度求和，生成新的键值对；

S35，选择距离长度和最大的点作为相似度矩阵的中心点，覆盖原中心点，对于离距长度和小于长度阈值的点，将其标记为噪点，不再作为类簇中心点；

S36，在所有点与点的链接中，移除权重比阈值小的链接，选取彼此链接的点作为一个类簇，使每一个类簇代表一个类别日志信息；

S37，根据不同类别日志信息采取进一步分析，得到反映电力系统运行状态的信息，通过观察这些信息的变化实现对电网运行状态的监视。

2.根据权利要求1所述的电力系统运行状态监视方法，其特征在于：

在步骤S1中，获取所述日志信息时采用基于syslog方式的日志扫描抓取方法。

3.根据权利要求2所述的电力系统运行状态监视方法，其特征在于所述日志扫描抓取方法包括如下步骤：

S11，将位于电力系统各节点上的各个种子模块抓取的日志信息进行选取合并，得到本节点的各类日志信息；

S12，在电力系统的各个区域中，对各节点的各类日志信息进行抓取合并，得到各区域的整合数据，并发送到本区数据处理节点对数据进行处理，将其存储到日志文件中；

S13，获得选取合并的各类日志信息，从抓取日志信息的节点获得抓取记录数据，经过分析得到日志信息的合并抓取策略，根据需要对合并抓取策略进行调整。

4.根据权利要求1所述的电力系统运行状态监视方法，其特征在于：

在步骤S31中，所述日志信息类别包括：系统日志、访问日志和用户行为日志三类。

5.根据权利要求1所述的电力系统运行状态监视方法，其特征在于在步骤S32中，构建全部日志类别的共享最临近图包括如下步骤：

首先以k最邻近算法确定日志信息A和B的邻近点列表，当A与B都在对方的临近点列表中时，两点间建立一条链接；然后将相似度矩阵中与某点无链接的点所对应的相似度设为零，实现相似度矩阵的稀疏化；最后将建立链接的两点及其权重边绘制出来，完成构建全部日志类别的共享最临近图；

两点之间的链接的权重即两点的相似度str(i，j)，相似度计算公式为：str(i,j)＝∑(k+1-m)*(k+1-n)；

其中，k为A与B邻近点列表的大小，m和n为A与B的临近区间在其各自临近列表中的序号。

6.根据权利要求1所述的电力系统运行状态监视方法，其特征在于还包括如下步骤：

S4，根据电力系统运行状况，确定需要特别关注的指标及其所属日志信息类别，通过在相应的日志信息类别中单独对所述指标进行监视实现对电力系统运行状态的监视。

7.根据权利要求6所述的电力系统运行状态监视方法，其特征在于在步骤S4中进一步包括如下步骤：

S41，解析日志信息，确定需要特别关注的指标所属的日志信息类别；

S42，在解析日志结果中抽取需要特别关注的关键字，将其拼接为字段名，其value值设为1；

S43，采用Reduce机制，在所述日志信息类别中，计算汇总所述字段名在该类别中出现的次数，生成并输出新的键值对；

S44，提取键值对中的信息，对其进行分析，实现电力系统运行状态的监视。