[发明专利]基于垂直数据分布的稠密数据库快速关联规则挖掘方法

摘要

本发明涉及基于垂直数据分布的稠密数据库快速关联规则挖掘方法，1.设项集集合为I，对给定事务数据库T＝{t1,...,tn}，记D为T的集合，对应每一个事务t1,...,tn有唯一的标识TID；2.利用DAG结构替代CARMA算法中的lattice结构存储项集和项集附加信息，每个项集存储于Q中的单个节点，并与其前两个子集的结点相连；3.令T(X)代表项集X的tidlist，d(X)代表X的diffset；4.得到包含所有频繁项集的超集结构Q；5.采用CARMA算法的前向剪枝技术对Q中满足条件的项集修剪，直到Q中没有多余频繁项集则扫描终止。本发明结合划分和diffset概念，弥补了传统垂直算法对大型稠密数据库挖掘能力的不足，整体上提高了频繁项集的计算效率，减轻了磁盘I/O读取开销。

主权项

基于垂直数据分布的稠密数据库快速关联规则挖掘方法，其特征在于，包括以下步骤：S1、设项集集合为I，I＝{i1,...,im}是一个值域为{0,1}的属性集，对给定事务数据库T＝{t1,...,tn}，记D为T的集合，对应每一个事务t1,...,tn有唯一的标识TID，每个事务是一分量为m的二元向量，F为D的频繁项集集合，P1,...,Pn为D的n个互不相交的划分，d为执行过程中除当前划分之外的已扫描事务，Q表示存储候选项集的DAG结构，v表示Q中项集，定义v的支持度计数为count(v)，v的支持度为support(v)，minsup为用户设定的最小支持度；S2、利用DAG结构替代CARMA算法中的lattice结构存储项集和项集附加信息，每个项集存储于Q中的单个节点，并与其前两个子集的结点相连，项集按照字典序排列，mother表示较小子项集、father表示较大子项集，对于Q中的每个项集v存储与v的超集的链接、这些保存链接的链表用childes表示；S3、令T(X)代表项集X的tidlist，d(X)代表X的diffset，P为一单项集，t(P)为P的tidlist，PX和PY组合项集，σ(PX)为PX的支持度；S4、利用单项集的集合对Q进行初始化，通过ReadPartition函数对数据库划分中的事务进行读取，在此过程中同时完成Q结构的构建、Q中单项集diffset结构的创建以及Q中所有候选项集的firstTrans、maxMissed值的计算，VARMLDb算法在构建Q的过程中通过单项集来构造并计算其他的候选项集，检查待插入项集的所有真子集是否已经被插入到lattice集合当中，在单个划分读取完毕之后，利用UpdateItem函数对Q中候选项集进行迭代计算，更新所有候选项集的count、min‑Support和max‑Support，所有划分读取完毕后第一次扫描结束，得到包含所有频繁项集的超集结构Q；S5、利用条件max‑Support(v)＜minsup对Q进行初步修剪，扫描数据库过程中不再增加候选项集个数，对Q中项集的count值和maxMissed值进行更新；同时采用CARMA算法中的前向剪枝技术对Q中满足条件的项集进行修剪，并利用OutPutFreItem函数对Q中的频繁项集进行输出，如果输出的项集在Q中没有超集，则将此项集从Q中移除，直到Q中没有多余频繁项集则扫描终止。