[发明专利]一种基于数据缓冲池的Top-k高效用项集挖掘方法

说明书

本发明公开一种基于数据缓冲池的Top‑k高效用项集挖掘方法，包括如下步骤：（1）数据挖掘运行参数初始化；（2）初次扫描事务数据库并计算单一项的加权事务效用值，将最小阈值初始化为0并创建初始化链表；（3）将单一项的加权事务效用值存入初始化链表并按加权事务效用值升序排列；（4）再次扫描数据库，创建高效用项集队列；（5）调用搜索子程序Search，将初始化链表、评估效用共现结构EUCS、数据缓冲池DBP和索引链表传入子程序Search；（6）输出效用最高的前个高效用项集，完成数据挖掘。本发明方法通过数据缓冲池的方式，对已使用的数据空间进行回收，提高内存的复用率，降低高效用项集挖掘的运行时间和内存消耗。

技术领域

本发明涉及Top-k高效用项集数据挖掘，具体是一种基于数据缓冲池的Top-k高效用项集挖掘方法。

背景技术

在零售行业中，根据商品被购买次数的多寡，向决策制定者提供制定决策的数据依据是普遍现象。在现实生活中，每个商品的成本、售价、利润、重量、风险均不相同，那么仅考虑商品在交易数据库的被购买的次数并不能反映真实的情况。高效用项集挖掘(High-Utility Itemsets Mining，简称HUIM)算法不仅考虑到交易中商品出现的次数，还考虑到商品的单位利润(效用)，高效用项集挖掘算法的目标是在交易数据库中发现为零售商带来可观利润的项目和项集，被发掘的项集称作高效用项集。

近年来，高效用项集挖掘算法的效率方面取得了一定成果，但由于实际应用中，最小阈值的设定不但影响着算法挖掘高效用项集的数量，而且影响着算法运行时的效率。最小阈值设定过高，使得挖掘出的结果集过少无法满足用户需求；设定过低，则产生大量结果集使得算法运行时间过长，占用大量的内存空间甚至内存溢出导致算法运行失败。用户为了确定合适的最小阈值，往往需要经验和反复测试，但每当数据集中数据的变更很有可能使之前设定的最小阈值失去意义。Top-k高效用项集挖掘算法采用挖掘前k个效用值最大的项集的方式，将设定最小阈值的问题，转变为设定所需结果集数量的问题。

Top-k高效用项集挖掘算法主要分为以TKO(mining Top-K utility itemsets inOne phase) 算法为代表的一阶段算法和以TKU(Top-K Utility itemsets mining)算法为代表的二阶段算法。先前算法在优化挖掘高效用项集时，主要关注点在改进存储效用信息数据结构。例如TKU算法通过树结构UP-tree两次扫描数据库进行挖掘，而TKO采用效用链表结构在算法第一次扫描数据库时，将关键信息存入效用链表，之后只需扫描效用链表上的信息，通过大量连接操作和递归效用链表，构建过程挖掘高效用项集。随着数据库中项的增长，项集的增加，存储效用信息的数据结构中数据量也随之增长，挖掘过程中所需要的信息和已不再需要的信息大量影响着执行速度和内存消耗。

发明内容

本发明的目的是针对现有技术的不足，而提供一种基于数据缓冲池的Top-k高效用项集挖掘方法。

实现本发明目的的技术方案是：

一种基于数据缓冲池的Top-k高效用项集挖掘方法，具体包括如下步骤：

(1)数据挖掘运行参数初始化：设置需要被挖掘的数据库D，指定结果集数量k和利润表ptable；

(2)扫描数据库D：初次扫描事务数据库D并计算单一项的加权事务效用值，将最小阈值minUtil初始化为0并创建初始化链表I^*；

(3)将单一项的加权事务效用值存入初始化链表I^*并按加权事务效用值升序排列；

(4)再次扫描数据库D，建立数据缓冲池DBP、索引链表IndexList和评估效用共现结构 EUCS，创建高效用项集队列；