[发明专利]一种基于布尔矩阵约简的关联规则挖掘算法

说明书

本发明针对传统的Apriori算法存在的固有缺点，提出了一种基于布尔矩阵约简的关联规则挖掘算法。本算法将事务数据库转换为布尔矩阵，并在矩阵最后增加一行两列，用来记录相同事务的个数和矩阵行与列中1的个数。将矩阵各列元素按支持数大小升序排列，若某项的支持数大于最小支持数，则将该列向量继续保留在矩阵中；否则，删除该项所对应的矩阵列，剩下的元素组合而成的集合则是频繁k‑项集。该算法通过压缩布尔矩阵生成频繁k‑项集，挖掘过程中只需扫描一次数据库，简化了频繁项集的生成过程，提高了算法的运行效率。同时，实验结果证明该算法比传统的Apriori算法具有更好的性能，避免了Apriori算法复杂的剪枝过程，能够有效减少扫描次数，降低了算法运行时间。

技术领域

本发明属于数据挖掘及信息处理技术领域，具体涉及一种基于布尔矩阵约简的关联规则挖掘算法，在布尔矩阵表示事务数据库的基础上，对传统的Apriori算法挖掘频繁项集的过程进行改进优化。

背景技术

如今社会进入了大数据时代，在许多领域，都会不断产生大量的、不同类型的数据。为了从这些大量的数据中发现有价值的信息，数据挖掘技术逐渐成为研究的重点，其中关联规则挖掘作为数据挖掘领域重要的研究方向。它可以用于表示事务之间的关系及规律，并为商业决策、市场规划等方面提供依据。关联规则还可以应用于文本挖掘、网络故障分析等领域。因此，对关联规则算法的研究具有非常重要的意义。

基于频繁项集理论的Apriori算法[1]是由Agrawal等人提出的，其核心思想是通过扫描事务数据库生成频繁k-项集，利用“逐层搜索”的迭代方式，根据频繁k-项集生成候选(k+1)-项集，再扫描数据库，通过当前的候选项集进行剪枝操作，从而获得频繁(k+1)-项集。但是Apriori算法存在反复扫描数据库的缺点，国内外学者从改变存储方式和数据结构两方面提出了改进方法。Han J等人[2]提出了基于FP-树(Frequent Pattern)的关联规则挖掘算法。Krajca P等[3]提出了一种基于近似布尔矩阵分解的算法，降低了数据维度。Zhang等人提出了GP-Apriori算法[4]，该算法采用图形处理器进行并行化的支持度计数，并将垂直交易列存储为线性有序阵列。GPU通过遍历该有序阵列，并执行按位交叉实现支持度计算，并将结果复制回内存。与传统CPU上运行的Apriori算法相比，GP-Apriori算法由于采用了先进的GPU提高了运行速度，但是复杂度有所增加。文献[5]是基于矩阵的关系数据库多维关联规则挖掘算法，该算法采用布尔关系演算挖掘频繁谓词集，并利用布尔逻辑运算生成关联规则。D.W.Cheung等提出的FDM-LUP(Fast Distributed Mining ofassociation rules with Local and Upper-Bound-Pruning)算法[6]和冯玉才提出的IUA(Incremental Updateing Algorithm)及PIUA(Parallel Incremental UpdateingAlgorithm)算法[7]，都是在基于增量式更新的Apriori算法，利用已挖掘的关联规则在变化的数据库或参数上发现新的关联规则，并删除过时的关联规则来维护数据集更新的问题。沈艳等[8]提出一种基于聚类和矩阵压缩的Apriori算法，先利用K-means算法划分数据集，将得到的各个小数据集转化为相应的布尔矩阵后，再进行关联规则的挖掘。罗丹等人在文献[9]中提出了一种改进的基于矩阵压缩的Apriori算法，通过增加删除不能连接的项集和非频繁的项集操作，减少了矩阵规模，直接通过“逻辑与”运算产生频繁项集。

文献引用

[1]Agrawal R,Srikant R.Fast algorithms for mining association rules[C]//Proc.20th int.conf.very large data bases,VLDB.1994,1215:487-499.