[发明专利]基于事务‑项目关联矩阵的频繁模式网络挖掘算法及系统

说明书

技术领域

本发明属于数据挖掘技术领域，涉及一种基于事务-项目关联矩阵的频繁模式网络挖掘算法及系统。

背景技术

数据挖掘又称知识发现(knowledge discovery in databases，简称KDD)，是现在数据库研究的热点和应用最活跃的分支之一。关联规则挖掘是数据挖掘的重要内容之一，用于发现大量数据中项集之间有趣的关联或相关联系。随着大量数据不停地收集和存储，许多业界人士对于从他们的数据库中挖掘关联规则越来越感兴趣。

频繁项目集挖掘是关联规则挖掘的基础和核心。自1993年Agrawal等人初次提出Apriori算法以来，大批科研工作者对挖掘频繁项目集的问题进行了相关研究。后来J.Han等人提出了用频繁模式树产生频繁集的方法—FP-growth算法，它将提供频繁项目集的数据库压缩到一个被称为FP-tree上，然后从初始后缀模式开始，构造条件模式基，再形成条件FP-树，并递归地在该树上进行挖掘。FP-growth算法具有以下优点：1)不需要产生候选项，仅需要构造FP-Tree和条件FP-Tree，通过递归地访问FP-Tree产生频繁模式；2)对事务数据库仅需两次遍历，第1次遍历产生频繁1-项集，第2次遍历用于创建FP-Tree，从而极大地降低了访问数据库的次数。

现有方法主要存在以下问题：

(1)经典关联规则Apriori算法的主要缺点是需要寻找大量的侯选项目集，当数据库较大时，存在组合爆炸问题；同时，挖掘数据时需要多次搜索数据库，也增加了计算的负担和I/0访问负担；

(2)FP-growth算法不需要产生候选项，仅需要构造FP-Tree和条件FP-Tree，一定程度地解决了Apriori算法的问题；但是FP-growth算法所形成的FP-tree是一个有向图，存在着更新、维护困难，此外，树的形成与关联规则挖掘的过程也较复杂。

发明内容

本发明所要解决的技术问题是克服现有FP-tree模型更新、维护困难的缺点，提供一种基于事务-项目关联矩阵的频繁模式网络挖掘算法，以适合于大型数据库的关联规则挖掘。

为此，本发明采用的技术方案是：基于事务-项目关联矩阵的频繁模式网络挖掘算法，其将提供频繁项目集的数据压缩到一个FP-network上，通过形成事务-项目关联矩阵，将此FP-network进行存储，进行关联规则挖掘。

作为上述技术方案的补充，建立无向图FP-network的事务-项目关联矩阵，以矩阵形式代替传统的FP-tree模型。

作为上述技术方案的补充，引入“节点负容量”的定义，对FP-network的存储转换为存储一个关联矩阵和对应各个节点的节点负容量。

作为上述技术方案的补充，FP-network模型建立后，通过对节点负容量不等于零的节点搜索路径，挖掘所有的频繁项目集，得到关联规则。

作为上述技术方案的补充，所述的频繁模式网络挖掘算法包括如下步骤：

扫描数据库，建立事务-项目关联矩阵，并存储对应各个节点的节点负容量，利用FP-network模型及关联矩阵表示实现关联规则的挖掘。

作为上述技术方案的补充，所述的频繁模式网络挖掘算法包括如下具体步骤：

1)扫描数据库，忽略出现频数低于最小支持度的节点，构建FP-network的矩阵B、I；

2)从节点负容量不等于零的节点开始；

3)搜索关联矩阵中对应此节点的值为1的所有路径，仅保留此节点之前的节点信息，形成新的矩阵B、I；

4)若节点负容量的绝对值大于或等于最小支持度阈值，则此节点作为一个频繁项集的元素；若节点负容量的绝对值小于最小支持度阈值，不作处理，忽略此节点的信息，形成新的矩阵B、I，转至步骤2)；

5)此过程持续至所有的节点负容量不等于零的节点挖掘完为止。

本发明的另一目的是提供一种基于事务-项目关联矩阵的频繁模式网络挖掘系统，其包括：

事务-项目关联矩阵构建单元：基于FP-network模型，构建事务-项目关联矩阵；

存储单元：存储事务-项目关联矩阵和对应各个节点的节点负容量；

关联规则挖掘单元：通过对节点负容量不等于零的节点搜索路径，挖掘所有的频繁项目集，得到关联规则。

上述关联规则挖掘单元的挖掘步骤如下：

1)扫描数据库，忽略出现频数低于最小支持度的节点，构建FP-network模型的事务-项目关联矩阵B、I；