[发明专利]一种基于海量日志的实时关联分析方法及系统

说明书

本发明公开了一种基于海量日志的实时关联分析方法及系统，通过改进的Storm实时计算系统，对实时增加的海量日志数据进行实时的关联规则挖掘，针对电力信息系统中产生的海量日志数据，通过Storm实时计算系统和关联规则挖掘相关技术结合实现面对实时新增的日志数据进行即时的关联规则挖掘，对信息系统多个指标日志数据进行关联分析，针对系统故障可进行迅速定位，方便查到系统故障根因，提升信息系统运维效率。

技术领域

本发明涉及数据挖掘技术领域，具体涉及一种基于海量日志的实时关联分析方法及系统。

背景技术

关联规则挖掘是数据挖掘中的一种十分重要的方法，它的作用在于找到数据之间的相关性。随着我国信息技术的蓬勃发展，在各个领域中，数据的数量都变得越来越多，推动着我们进入了大数据的时代，因此利用关联规则来挖掘的对象常常是庞大的集中式或分布式数据库，其中当然也包括电力信息系统日志数据。一方面，为了在存储的能力、挖掘的能力方面适应大数据挖掘的要求，提出了并行方法处理海量数据的方法。另一方面，在包含海量日志数据挖掘之内的很多数据挖掘应用中，数据库都需要不断地更新，因此存在着增量更新的问题，需要在挖掘原始数据库的基础上，再对新增数据库进行挖掘。

Storm是一个分布式流式计算框架，具有数据计算延迟低、吞吐高、计算逻辑表达能力灵活的优点，但是Storm计算框架中间不会有数据合并和收集的过程，这导致在数据聚集处理的场景中比如关联规则挖掘中需要自行处理相关逻辑，为此本发明对原有的流处理框架Storm进行改进，实现关联规则挖掘处理过程的低延迟和实时性。

发明内容

针对上述现有技术存在的问题，本发明提供了一种基于海量日志的实时关联分析方法及系统，针对电力信息系统中产生的海量日志数据进行实时的关联规则挖掘，通过改进的Storm实时计算系统和关联规则挖掘相关技术结合实现面对实时新增的日志数据进行即时的关联规则挖掘，对信息系统多个指标日志数据进行关联分析，具体的，本发明的一种基于海量日志的实时关联分析方法，包括：

获取原有日志事务数据DB的所有关联分析数据，所述关联分析数据包括数据DB中的不频繁项、频繁项和关联规则；

获取实时采集的日志数据db；

基于改进的Storm实时计算系统进行海量日志的实时关联分析，分析过程包括：

第一级节点启动，用于追踪流数据处理过程所有节点的任务完成情况，同时第二级节点启动，用于控制所有节点的工作顺序；

第二级节点向第三级节点发送日志数据db的标识字段；

第三级节点根据接收的标识字段读取数据库中对应的日志数据，并将读取数据发送到第四级节点；当第三级节点读取完成后，向所有第四级节点发送完成标志信息，同时将读取完的数据归入数据DB中；

第四级节点接收到数据后，统计所在节点上的所有事务中的项t_ij及每项频数，并转换成键值形式直接发送到第五级节点，第四级节点接收到所有第三级节点发送的完成标志信息后，向所有第五级节点发送完成标志信息；

第五级节点接收到所有第四级节点发送的完成标志信息后，对所在节点接收的所有键值对中相同的键进行合并，合并后发送到第六级节点；

第六级节点，接收所有第五级节点发送的键值对，进行键值对合并，获取日志数据db中的所有项t_ij及对应频数SUP_k-itemset-l，获得日志数据db增加到DB中后新增的所有频繁项，形成待分析频繁项集合Glist；

第四级节点获取日志数据db和DB中所有与Glist中的项有关联的事务，并将所有与Glist中的项有关联的事务分组，每组事务传送到相同的第五级节点；

第五级节点对所在节点上接收的每组事务进行关联规则挖掘，并发送到第六级节点；