[发明专利]基于垂直数据分布的稠密数据库快速关联规则挖掘方法

说明书

技术领域

本发明属于数据库快速关联规则挖掘技术领域，具体涉及一种基于垂直数据分布的稠密数据库快速关联规则挖掘方法。

背景技术

关联规则是数据挖掘的一个重要研究方向。近年来，随着商业和科学数据库急剧增长及存储设备不断升级，大型事务数据库的关联规则挖掘成为数据挖掘领域中一个非常重要的研究课题。

经典的数据库关联规则挖掘算法主要包括：DHP算法、DIC算法等。但这些算法在对大型数据库进行关联规则挖掘过程中，通常无法将驻留磁盘的数据一次性读入内存，造成大量的磁盘I/O操作和严重的CPU开销。尽管基于关联规则算法改进的各种水平挖掘算法对于频繁模式长度较短的稀疏数据库有良好的表现，但是，对于具有较长频繁模式的稠密数据库，如人口普查数据库，这些算法的性能下降较为严重。下降的原因是这些算法在执行过程中多次扫描数据库，产生了大量的长频繁项集。这一方面导致多次扫描磁盘驻留数据库带来的较高I/O开销；另一方面，在对大候选项集集合进行模式匹配时，特别是挖掘长模式时，产生了较高的CPU运算开销。频繁项集挖掘算法的CPU开销将成为瓶颈，针对稠密数据集，尤其是数据集具有普遍的长频繁模式时，传统垂直挖掘方法的性能下降较为严重。

发明内容

为解决上述技术问题，本发明提出一种基于垂直数据分布的稠密数据库快速关联规则挖掘方法，包括以下步骤：

S1、设项集集合为I，I＝{i1,...,im}是一个值域为{0,1}的属性集，对给定事务数据库T＝{t1,...,tn}，记D为T的集合，对应每一个事务t1,...,tn有唯一的标识TID，每个事务是一分量为m的二元向量，F为D的频繁项集集合，P1,...,Pn为D的n个互不相交的划分，d为算法执行过程中除当前划分之外的已扫描事务，Q表示存储候选项集的DAG结构，v表示Q中项集，即有定义v的支持度计数为count(v)，v的支持度为support(v)，minsup为用户设定的最小支持度；

S2、利用DAG结构替代CARMA算法中的lattice结构存储项集和项集附加信息，每个项集存储于Q中的单个节点，并与其前两个子集的结点相连，项集按照字典序排列，mother表示较小子项集、father表示较大子项集，对于Q中的每个项集v存储与v的超集的链接、这些保存链接的链表用childes表示；

S3、令T(X)代表项集X的tidlist，d(X)代表X的diffset，P为一单项集，t(P)为P的tidlist，PX和PY组合项集，σ(PX)为PX的支持度；

S4、利用单项集的集合对Q进行初始化，通过ReadPartition函数对数据库划分中的事务进行读取，在此过程中同时完成Q结构的构建、Q中单项集diffset结构的创建以及Q中所有候选项集的firstTrans、maxMissed值的计算，VARMLDb算法在构建Q的过程中通过单项集来构造并计算其他的候选项集，检查待插入项集的所有真子集是否已经被插入到lattice集合当中，在单个划分读取完毕之后，利用UpdateItem函数对Q中候选项集进行迭代计算，更新所有候选项集的count、min-Support和max-Support，所有划分读取完毕后第一次扫描结束，得到包含所有频繁项集的超集结构Q；

S5、利用条件max-Support(v)＜minsup对Q进行初步修剪，扫描数据库过程中不再增加候选项集个数，对Q中项集的count值和maxMissed值进行更新；同时采用CARMA算法中的前向剪枝技术对Q中满足条件的项集进行修剪，并利用OutPutFreItem函数对Q中的频繁项集进行输出，如果输出的项集在Q中没有超集，则将此项集从Q中移除，直到Q中没有多余频繁项集则扫描终止。

进一步地，所述给定事务数据集D和最小支持度minsup，对于项集vI，若support(v)≥minsup，则称v为D的频繁项集，若v为D中的频繁项集，则对任意都有w是D中的频繁项集；给定D，若v为D中的非频繁项集，则对任意都有w是D中的非频繁项集。

进一步地，所述步骤S3中以及进而通过计算t(PXY)的基可以得到项集PXY的支持度，其中t(PX)∩t(PY)＝t(PXY)；

d(PX)＝t(P)－t(X)、即项集X和P的tidlist之差，d(PY)＝t(P)－t(Y)、即项集Y和P的tidlist之差，组合项集PX的支持度不等于diffset的基，而有σ(PX)＝σ(P)－|d(PX)|；