[发明专利]一种基于海量日志的实时关联分析方法及系统

权利要求书

1.一种基于海量日志的实时关联分析方法，其特征在于：包括：

获取原有日志事务数据DB的所有关联分析数据，所述关联分析数据包括数据DB中的不频繁项、频繁项和关联规则；

获取实时采集的日志数据db；

基于改进的Storm实时计算系统进行海量日志的实时关联分析，分析过程包括：

第一级节点启动，用于追踪流数据处理过程所有节点的任务完成情况，同时第二级节点启动，用于控制所有节点的工作顺序；

第二级节点向第三级节点发送日志数据db的标识字段；

第三级节点根据接收的标识字段读取数据库中对应的日志数据，并将读取数据发送到第四级节点；当第三级节点读取完成后，向所有第四级节点发送完成标志信息，同时将读取完的数据归入数据DB中；

第四级节点接收到数据后，统计所在节点上的所有事务中的项t_ij及每项频数，并转换成键值形式直接发送到第五级节点，第四级节点接收到所有第三级节点发送的完成标志信息后，向所有第五级节点发送完成标志信息；

第五级节点接收到所有第四级节点发送的完成标志信息后，对所在节点接收的所有键值对中相同的键进行合并，合并后发送到第六级节点；

第六级节点，接收所有第五级节点发送的键值对，进行键值对合并，获取日志数据db中的所有项t_ij及对应频数SUP_k-itemset-l，获得日志数据db增加到DB中后新增的所有频繁项，形成待分析频繁项集合Glist；

第四级节点获取日志数据db和DB中所有与Glist中的项有关联的事务，并将所有与Glist中的项有关联的事务分组，每组事务传送到相同的第五级节点；

第五级节点对所在节点上接收的每组事务进行关联规则挖掘，并发送到第六级节点；

第六级节点接收所有第五级节点的关联规则，并与原有日志事务数据DB的关联规则融合，获取面向实时更新的数据DB和db的实时关联规则更新结果。

2.根据权利要求1所述的一种基于海量日志的实时关联分析方法，其特征在于：所述第四级节点获取日志数据db和DB中所有与Glist中的项有关联的事务，具体为：根据待分析频繁项集合Glist中的所有项，将日志数据db和DB中所有事务中的非Glist集合项删除，并合并相同的事务。

3.根据权利要求1所述的一种基于海量日志的实时关联分析方法，其特征在于：所述将所有与Glist中的项有关联的事务分组，具体为：

第六级节点形成待分析频繁项集合Glist后，根据预设分组组数，将Glist中的项分组，并分配对应分组号；

第四级节点利用其键值映射建立功能，建立频繁项集合Glist中的每一项和每一事务的一一映射关系，对应的，Glist中的每一项的分组号分享给与其映射的事务，获得 同一分组号下的事务集合。

4.根据权利要求1所述的一种基于海量日志的实时关联分析方法，其特征在于：所述原有日志事务数据DB和实时采集的日志数据db中，对于每一项是否为频繁项的判断基于预设的加权支持度区间(SUP_L，SUP_U)获取，对于SUP_k-itemset-lSUP_L的项t_ij存储在不频繁项候选集合PF_Z1′中，SUP_LSUP_k-itemset-lSUP_U的项t_ij存储在弱频繁项候选集合PF₁′中，SUP_k-itemset-lSUP_U的项t_ij存储在强频繁项候选集合P₁′中。