[发明专利]一种海量数据频繁项集挖掘方法

说明书

本发明提供一种海量数据频繁项集挖掘方法，包括：采用频繁项集挖掘算法对原始事务数据集T_O进行挖掘，获得原始事务数据集T_O对应的所有的局部频繁项集；扫描原始事务数据集T_O，对应计算上述所获得的每个局部频繁项集在原始事务数据集T_O上的支持度计数，对所获得的局部频繁项集进行过滤，获取支持度不小于ω的各局部频繁项集，并将所获取的各局部频繁项集及计算所得的对应的支持度计数对应写入文件F_qf中；读取新增事务数据集T_Δ，并判断新增事务数据集T_Δ是否为空，之后基于新增事务数据集T_Δ是否为空进行频繁项集挖掘。本发明在整个挖掘过程中复用了文件F_qf、集合ST_CAD和数组cnt_Δ，一定程度上减少了计算开销，从而可提高频繁项集的挖掘速率。

技术领域

本发明涉及数据挖掘技术领域，具体涉及一种海量数据频繁项集挖掘方法。

背景技术

频繁项集挖掘一直以来都是数据挖掘中最活跃的领域之一。它在现实生活中具有非常广泛的应用，例如，它广泛应用于数据挖掘、软件错误探测、时空数据分析、生物分析等多个研究领域。由于其实际意义，频繁项集挖掘已经引起了广泛的关注。

在数据存储领域，数据通常以只读/只添加模式存储，整个事务数据集可以被分为两个部分：原始事务数据集和新增事务数据集。一定时间或条件下，新增事务数据集中的数据被并入原始事务数据集中，此时原始事务数据集中数据在增加，而新增事务数据集中的数据因被并入原始事务数据集而被清空，当有新增数据的写入时，新增数据被写入新增事务数据集，之后在再次满足一定时间或条件时，新增事务数据集中新增写入的数据再次被并入原始事务数据集，而新增事务数据集继续用于等待新数据的存入，如此往复。可见，在只读/只添加模式进行存储下，原事务数据集始终由原始事务数据集和新增事务数据集组成。

多年来，国内外的科研工作者们已经提出了许多相关算法。现存的算法可以分为两类：基于候选生成的算法、基于模式增长的算法。基于候选生成的算法首先生成候选项集，然后，通过扫描数据库来验证候选项集，并识别出其中的频繁项集。此外，基于候选生成的算法还利用反单调性来剪切搜索空间。但是，这类算法需要多遍扫描数据库，当处理海量数据时，这将带来很高的I/O开销。基于模式增长的算法不会直接生成候选项集，它通过构建一种特殊的基于树的数据结构来保存数据库中频繁项集的必要信息。通过利用这种数据结构，频繁项集可以被高效的计算出来，然而这类算法构建数据结构十分复杂，并且在处理海量数据时，内存需求量通常会超出可用的内存，导致数据结构无法在内存中正确构建。

为此，本发明提供一种海量数据频繁项集挖掘方法，用于实现对只读/只添加模式存储模式下的海量数据频繁项集的挖掘。

发明内容

针对现有技术的上述不足，本发明提供一种海量数据频繁项集挖掘方法，用于实现对只读/只添加模式存储模式下海量数据频繁项集的挖掘，以提高对海量数据频繁项集的挖掘速率。

本发明提供了一种海量数据频繁项集挖掘方法，该海量数据频繁项集挖掘方法用于挖掘总事务数据集T中满足全局最小支持度minsup的频繁项集，所述的全局最小支持度minsup为预先设定的总事务数据集T上的最小支持度；

所述的总事务数据集T包括原始事务数据集T_O和新增事务数据集T_Δ；

该海量数据频繁项集挖掘方法包括步骤：

采用频繁项集挖掘算法对原始事务数据集T_O进行挖掘，获得原始事务数据集T_O对应的所有的局部频繁项集；