[发明专利]一种基于垂直分解的并行频繁闭序列挖掘方法

权利要求书

1.一种基于垂直分解的并行频繁闭序列挖掘方法，其特征在于，包括以下步骤：

步骤1、对原始数据库扫描，将数据按行进行水平分片处理，并分别发送至不同的处理器中；

步骤2、对每个处理器中的数据进行垂直分解；具体为：

在每个处理器上，并行执行以下操作：

执行一条数据与数据集中的所有数据进行两两相交，获得任意两条数据之间的公共子序列，即候选模式集；

步骤3、将获得的所有公共子序列进行合并和去重操作，得到挖掘前的候选模式集；

步骤4、将挖掘前的候选模式集中的序列转变成图的存储结构，图中每个结点代表一个序列；

步骤5、采用基于独立支配集约减算法对图存储结构中的序列进行约减，将所有处理器中保存的集合进行合并；

步骤6、采用基于阈值约减算法在合并后的集合进行约减操作，选取最具代表性的K个模式，即TopK，实现频繁模式的压缩；

步骤7、挖掘约减后序列中的频繁闭序列，具体步骤如下：

步骤7-1、将步骤6获得的所有序列分配到每台处理器中；

步骤7-2、在每台处理器中，枚举固定长度的前缀序列；

具体为：设置序列的前缀固定长度范围，所述的范围为：1～最长序列长度值，且固定长度为整数；在设置的长度范围内依次取前缀固定长度值，由第一条序列至最后一条序列，由左向右依次枚举，获得所有固定长度所对应的前缀序列；

步骤7-3、判断所获得的前缀序列是否包含在处理器的数据集中，若是，则将该前缀序列放入至自身投影数据库中；否则执行下一条前缀序列的判断；

步骤7-4、将所有处理器中相同前缀序列所对应的投影数据库进行合并，存储于同一个处理器中；

步骤7-5、依次判断每个前缀序列是否为频繁序列，若是，则执行步骤7-6，否则，削减该前缀序列，并执行步骤7-7；

步骤7-6、通过回插检测和向后扩展检测，判断该前缀序列是否为频繁闭序列，若是，则保留此频繁闭序列，否则，削减该前缀序列；

步骤7-7、判断该序列是否能成片削减，若是，则执行成片削减，并返回执行步骤7-5，否则，执行步骤7-8；

步骤7-8、获得全部的频繁闭序列。

2.根据权利要求1所述的基于垂直分解的并行频繁闭序列挖掘方法，其特征在于，步骤4将挖掘前的候选模式集中的序列转变成图的存储结构，图中每个结点代表一个序列； 具体步骤如下：

步骤4-1、对合并去重后的序列数据进行两两求相似度；

步骤4-2、判断所得相似度是否大于设定值，若是，则这两个序列存在关联，即在该算法中，这两个序列所对应的两个顶点之间存在一条边，否则，则这两个序列无关联；

步骤4-3、将存在关联的顶点之间进行连接，获得描述序列之间关联的顶点结构图。

3.根据权利要求1所述的基于垂直分解的并行频繁闭序列挖掘方法，其特征在于，步骤5所述的采用基于独立支配集约减算法对图存储结构中的序列进行约减，将所有处理器中保存的集合进行合并； 具体如下：

步骤5-1、任意取一顶点，并将该顶点加入至一集合中，在顶点结构图中将该顶点与其边删除；

步骤5-2、查询与该顶点之间没有边但度最大的顶点，并返回执行步骤5-1，直至所找到的顶点数目达到设定值；

步骤5-3、将所有处理器中保存的集合进行合并。

4.根据权利要求1所述的基于垂直分解的并行频繁闭序列挖掘方法，其特征在于，步骤6所述的采用基于阈值约减算法在合并后的集合中进行约减操作，选取最具代表性的K个模式，即TopK，实现频繁模式的压缩； 具体步骤如下：

步骤6-1、任选一条序列加入结果集合中；

步骤6-2、对于每条待插入的序列，计算该序列与结果集合中所有序列的相似度，若该序列与集合中已插入的任意一条序列的相似度大于设定的阈值，则不插入，否则插入。