[发明专利]一种挖掘海量数据的高空间可伸性和高时间效率的多层频繁模式发现算法

摘要

本发明“一种挖掘海量数据的高空间可伸性和高时间效率的多层频繁模式发现算法”涉及智能化信息处理领域，在海量数据挖掘特别是网络信息搜索与知识发现中有广泛应用前景。针对现有多层算法只是简单地扩展单层算法因而在挖掘海量数据时存在时间与空间开销瓶颈的问题，本发明提出了三项全新的技术。一是层次标签技术，能以最少的额外开销将层次结构信息集成到多种数据表示方式中，解决空间开销瓶颈。二是扩展型虚拟投影方法，避免模式支持集的反复生成，空间利用率更高。三是用于组织多层模式的倒置集合枚举树及其剪裁技术，大大减少了频繁模式的搜索空间，从而解决运行时间瓶颈。本发明算法的时间效率比两个参照算法分别高近5倍和高1～3个数量级，并且空间开销最小。本发明算法所具有的高性能使得海量Web挖掘、多媒体挖掘、文本挖掘等各种应用成为可能。

主权项

一种挖掘海量数据的高空间可伸性和高时间效率的多层频繁模式发现算法，可以从数据库中发现跨越多个概念层次的频繁模式，包括三项核心技术：A采用层次标签扩展的基于树的数据库压缩表示方法；B用于确定支持模式的数据库子库的扩展型虚拟投影方法；C组织频繁模式挖掘过程的倒置集合枚举树及其剪裁方法。