[发明专利]基于数据归并的多源异构电力日志分析方法

权利要求书

1.一种基于数据归并的多源异构电力日志分析方法，其特征在于，所述日志分析方法的架构包括：数据层，所述数据层用于完成来自原始电力系统日志的安全采集分类；Hadoop架构层，所述Hadoop架构层用于对数据层采集分类后的电力系统日志进行实时计算处理、离线计算处理和持久化存储；用户可视层，所述用户可视层用于电力系统运行状态的展现和报警；

所述日志分析方法的步骤为：

S1：将原始电力系统日志输入至数据层；

S2：采用数字签名技术对所述原始电力系统日志进行安全性验证；

S3：将所述安全性验证后的电力系统日志按照内容划分为管理控制、流量统计和攻击入侵三种类型，并确定各类型日志的属性；

S4：依次基于时间间隔、分区来源和属性相异度对所述分类后的电力系统日志进行数据归并；首先，所述基于时间间隔的数据归并是计算接收到两条日志之间的时间间隔，若小于所设定的时间阈值则归并两条日志；其次，对所述时间间隔归并后的电力系统日志进行安全分区，划分为电力系统一区日志、电力系统二区日志与电力系统三区日志；最后对所述电力系统安全分区后的电力系统日志进行属性相异度计算，对低于相异度阈值的日志数据进行归并；

S5：对所述数据归并后的电力系统日志进行结构分类，并划分为结构化电力系统日志数据和半/非结构化电力系统日志数据；

S6：将所述数据层处理后的电力系统日志输入至Hadoop架构层；

S7：实时计算处理中，通过数据转换工具Sqoop组件将所述结构化电力系统日志数据导入Hbase列存储数据库中进行存储，经过Storm集群进行实时解析、关联，并识别判断出表征威胁安全事件的电力系统日志、输出报警结果；通过Flume日志收集系统将所述半/非结构化电力系统数据导入Hive数据库、关系型数据库和非关系型数据库中进行存储，经过Storm集群进行实时解析、关联，并识别判断出表征威胁安全事件的电力系统日志、输出报警结果；

S8：离线计算处理中，Mapreduce调用HDFS分布式文件系统所存储的半/非结构化电力系统日志数据并通过对同一设备、节点或终端在不同时间、不同日期的各种日志数据进行关联挖掘分析，发现传统安全设备漏报或者无法检测出的表征威胁安全事件的电力系统日志、输出报警结果；

S9：将所述Hadoop架构层的表征威胁安全事件的电力系统日志、报警结果输入至用户可视层；

S10：将所述实时计算处理与离线计算处理的表征威胁安全事件的电力系统日志存储在MySQL数据库，并第一时间实施报警动作。

2.根据权利要求1所述基于数据归并的多源异构电力日志分析方法，其特征在于，所述数据层处理后的电力系统日志存储在Hbase列存储数据库、Hive数据库、关系型数据库和非关系型数据库的同时，通过Kafka消息队列直接传输至用户可视层的MySQL数据库中，并进行可视化展示；所述可视化展示的内容包括管理控制、流量统计和攻击入侵三种类型日志的总体运行状态及其在所述电力系统安全分区内的局部工作情况。

3.根据权利要求1所述基于数据归并的多源异构电力日志分析方法，其特征在于，所述属性相异度m_con(tra,att)的计算公式为：

式中，p_cj为管理控制类电力系统日志的属性权重，p_tj为流量统计类电力系统日志的属性权重，p_aj为攻击入侵类电力系统日志的属性权重，c_j为管理控制类电力系统日志中新日志与其比对日志的相异程度，t_j为流量统计类电力系统日志中新日志与其比对日志的相异程度，a_j为攻击入侵类电力系统日志中新日志与其比对日志的相异程度。

4.根据权利要求1所述基于数据归并的多源异构电力日志分析方法，其特征在于，实时计算处理中，识别并判断表征威胁安全事件的电力系统日志的逻辑为：设定不同电气设备运行状态的安全边界值，若被采集的电力系统日志中电气设备运行状态大于所述安全边界值，则输出报警结果。