[发明专利]一种数据挖掘方法及装置

说明书

本发明公开了一种数据挖掘方法及装置，涉及计算机领域。用以解决现有技术中面向不确定数据挖掘频繁闭项集的算法存在计算过程比较繁琐以及效率较低的问题。该方法包括：根据不确定数据包含的项集及项集的内项，建立初始频繁闭项集结构，遍历初始频繁闭项集结构每一层内包含的项集，根据每个项集的直接后继，建立基于频繁闭项集的闭关系图；根据项集在相应事务对应的事务概率，通过动态规划法确定项集的频繁概率；通过广度优先法遍历基于频繁闭项集的闭关系图，得到项集的直接后继，通过容斥定理确定项集的频繁非闭概率，结合项集的频繁概率计算得到项集的频繁闭概率，从而得到不确定数据中满足概率频繁闭阈值的概率频繁闭项集。

技术领域

本发明涉及计算机领域，更具体的涉及一种数据挖掘方法及装置。

背景技术

在数据挖掘领域，面向不确定数据，由于挖掘频繁闭项集相比于挖掘频繁项集可以在实现相同效果的前提下，达到更高的效率，极大的节省开销，因此该分支领域的研究备受关注，一些相关研究已经趋于成熟，在实验室与生产生活中体现了其一定的有效性和实用性。一些具有代表性的方法、思想得到了业界的普遍认同，被广泛应用于科学研究与生产实践当中。

然而，在实际应用开发过程中暴露了传统思想的一些不足之处，是该领域的难题之一，具体如下：在面向不确定数据挖掘频繁闭项集的过程中，最为重要但有较大时间开销的是计算项集频繁闭概率的过程，传统思想采用了项集的频繁闭概率＝频繁概率－频繁非闭概率的思想，其中频繁非闭概率的计算过程最为繁琐，因此主要讨论项集频繁非闭概率的计算。

在计算的过程中，需参与项集个数越多，项集中项的最大个数越大，则计算过程越复杂，且计算的复杂度是由最大可能世界的规模所决定的；随着需参与项集数的增多，最大可能世界的规模是呈指数级增长的，因此计算复杂度也呈指数级增长，从理论上来说会导致其相应的挖掘算法效率变低。

综上所述，现有技术中，针对挖掘频繁闭项集的算法存在计算过程比较繁琐以及效率较低的问题。

发明内容

本发明实施例提供一种数据挖掘方法及装置，用以解决现有技术中面向不确定数据挖掘频繁闭项集的算法存在计算过程比较繁琐以及效率较低的问题。

本发明实施例提供了一种数据挖掘方法，包括：

根据不确定数据包含的项集及所述项集的内项，建立初始频繁闭项集结构，所述初始频繁闭项集结构包含的层数不大于最大所述内项对应的数量；

遍历所述初始频繁闭项集结构每一层内包含的所述项集，根据每个所述项集的直接后继，建立基于频繁闭项集的闭关系图；

根据所述项集在相应事务对应的事务概率，通过动态规划确定所述项集的频繁概率；

通过广度优先法遍历所述项集的直接后继，通过容斥定理确定所述项集的频繁非闭概率，根据所述频繁概率，所述频繁非闭概率和概率频繁闭阈值确定所述不确定数据的概率频繁闭项集。

进一步地，根据不确定数据包含的项集及所述项集的内项，建立初始频繁闭项集结构，具体包括：

将所述内项对应的数量按照从小到大的顺序排序，将具有相同数量的所述内项对应的所述项集确定在一层，根据所述项集的层级关系建立所述初始频繁闭项集结构；将位于所述初始频繁闭项集结构内第一层的所述项集确定为频繁一项集，将位于所述初始频繁闭项集结构内第N层的所述项集确定为频繁N项集；

其中，所述初始频繁闭项集结构内包含的所述项集对应的next标记与flaglist标记均为空，所述next标记用于记录所述项集的直接后继的项集信息，所述flaglist标记用于记录所述项集的直接或间接前驱的项集信息。

进一步地，所述遍历所述初始频繁闭项集结构每一层内包含的所述项集，根据每个所述项集的直接后继，建立基于频繁闭项集的闭关系图，具体包括：