[发明专利]一种关联规则挖掘方法及其系统

说明书

技术领域

本发明涉及通信领域中的数据挖掘技术，尤其涉及一种关联规则挖掘方法 及其系统。

背景技术

在数据挖掘处理中，关联规则(Association Rule)的数据挖掘目的，是发 现在大量的数据项之间存在的值得关注的关联或相关关系，典型应用是零售业 的购物篮分析。所谓购物篮分析是指对数据进行关联规则研究有助于发现交易 数据库中不同商品(或不同项)之间的联系，找出顾客购买行为的模式，例如， 如果面包和牛奶经常被顾客同时购买，则把它们摆放在一起有助于增加两种商 品的销售量。为了衡量一条规则的重要程度，关联规则通常采用支持度 (support)和可信度(confidence)作为度量标准。支持度可以表示商品在超 市销售中的重要程度，可信度反映了商品之间的关联程度。如果在购买面包的 交易中，有60％的交易既购买了面包又购买了牛奶，则称关联规则(表示如果购买面包则购买牛奶)的可信度为60％。

关联规则(表示A与B同时存在)在事务数据库D中的支持度，可 用概率P(A∪B)表示；

关联规则在事务数据库D中的可信度，是在事务数据库D中的那些 包含A的事务中，B也同时出现的概率，即条件概率P(B|A)。

一个项集X在事务数据库D中的支持度，是事务数据库D中包含X的事 务count(X)占事务总数N的百分比，即概率P(X)。对于一个项集X，如果其支 持度大于或等于预先给定的支持度阈值min_sup，则称X为频繁项集(FI： Frequent Itemset)或频繁模式。

现有技术中，关联规则的数据挖掘处理一般包括两部分：

第一部分：找出所有支持度大于等于最小支持度阈值的频繁项集；

第二部分：由频繁项集生成满足可信度阈值的关联规则。

上述第一部分工作是相当费时的，而第二部分工作在第一部分的基础上较 容易实现，因此关联规则挖掘算法的总体性能主要由第一部分工作决定。

现有技术中的Apriori算法是一种经典的挖掘布尔关系规则频繁项集的算 法。Apriori算法在进行上述第一部分工作，即，找出频繁项集时，需要反复扫 描数据库，当面临海量数据挖掘时，由于内部存储器容量的限制，数据无法全 部加载到内部存储器当中运算，甚至无法在单机(或单节点)上存储，而且， Apriori算法作为一种串行算法，在一定程度上限制了挖掘的效率。

发明内容

本发明实施例提供了一种关联规则挖掘方法及其系统，以解决现有关联规 则挖掘处理效率低的问题。

本发明实施例提供的关联规则挖掘方法，包括：

由频繁K项集生成K+1项集；

执行多个并行的映射Map任务，其中，每个Map任务根据为其分配的数 据行偏移量范围，从事务数据集中读取相应范围的数据，并将读取到的数据转 换为<key1，value1>对，其中，key1为Map任务为读取到的数据分配的标识， value1为读取到的数据内容；以及，统计K+1项集在该<key1，value1>对中的频 繁计数值，并将统计结果输出为<key2，value2>对，其中，key2为K+1项集， value2为统计得到的频繁计数值；

通过执行简化Reduce任务获取所有Map任务输出的<key2，value2>对，将 key2值相同的<key2，value2>对中的value2值相加，得到K+1项集在所述事务 数据集中的频繁计数值，根据K+1项集的频繁计数值生成满足支持度要求的频 繁K+1项集，并根据所述频繁K+1项集在判断有满足可信度要求的关联规则 时输出该关联规则。

本发明实施例提供的关联规则挖掘系统，包括：

调用模块，用于根据频繁K项集生成K+1项集后，调用多个并行的处理 任务，以及在所述多个并行的处理任务完成后调用汇总任务；