[发明专利]一种基于CPU+MIC协同计算的近期数据流频繁项集挖掘方法

权利要求书

1.一种基于CPU+MIC协同计算的近期数据流频繁项集挖掘方法，其特征在于，该方法通过CPU和MIC众核协处理器实现；

CPU端负责利用滑动窗口技术扫描近期当前数据流，然后对当前窗口内数据流进行分块，向MIC卡传递子窗口数据流，负责CPU+MIC协同计算模式的框架搭建以及任务调度和参数初始化工作，而且在整个数据挖掘的计算任务CPU也会以openmp多线程模式，依次通过遗传算法数据挖掘；

MIC众核协处理器负责多线程并行地使用并行遗传算法查找发现每个嵌套数据子窗口中的频繁项集；在MIC卡上也采用openmp多线程的方式来运算；

该方法基于CPU+MIC协同计算，设定初始种群，种群中的个体是一系列待选的频繁项集，然后基于遗传算法的交叉、变异、选择运算来实现搜索过程，在遍历多代的处理之后，可以获得最终的频繁项集。

2.根据权利要求1所述的一种基于CPU+MIC协同计算的近期数据流频繁项集挖掘方法，其特征在于，所述的CPU负责CPU+MIC协同计算模式的框架搭建以及任务调度，具体操作如下：

单节点服务器采用由双路六核CPU和两块KNFMIC卡组成的桌面服务器。

3.在CPU+MIC协同计算中，双路CPU和MIC卡都作为计算设备，每个单节点相当于有三个计算设备，每个设备通过一个OpenMP线程进行控制；采用数据动态划分的方式，每次各个设备自动获取嵌套子窗口的输入数据，数据处理完之后自动获取下一个嵌套子窗口数据，直到所有设备计算完成所有嵌套子窗口数据。

4.根据权利要求1所述的一种基于CPU+MIC协同计算的近期数据流频繁项集挖掘方法，其特征在于，所述的MIC众核协处理器查找发现每个嵌套数据子窗口中的频繁项集具体操作如下：

首先设置进化代数计数器，设置最大进化代数，随机生成多个体作为初始群体，计算群体中各个个体的适应度；然后将选择算子作用于群体，把优化的个体直接遗传到下一代或通过配对交叉产生新的个体再遗传到下一代；将交叉算子、变异算子作用于群体；群体经过选择、交叉、变异运算之后得到下一代群体；以进化过程中所得到的具有最大适应度个体作为最优解输出，则终止计算。

5.根据权利要求1所述的一种基于CPU+MIC协同计算的近期数据流频繁项集挖掘方法，其特征在于，该方法的操作步骤如下：

1）输入各个参数，设定滑动窗口，在其上分割出多个嵌套子窗口，滑动窗口由对感兴趣当前多少条事务的频繁项集来确定，两个类型的窗口大小根据数据流的属性多少决定；

2）初始化种群，因为数据流的动态更新，嵌套子窗口得到频繁模式的1-项集；根据编码规则，将频繁1-项集编码成实数串，如果频繁1-项集有非零项，就按原来的位置进行随机组合编码，构成嵌套子窗口中的初始种群，其中的个体为准备分析确认的频繁模式；

3）计算嵌套子窗口中个体支持度的值，判定个体支持度值是否大于给定的阈值，如果是，就将此个体的模式添加到当前嵌套子窗口的频繁项集内；

4）对嵌套子窗口内数据进行遗传算法处理，选择操作使用种群中前一步计算得出的个体按支持度值做轮盘选择；根据设定的交叉概率，完成一位交叉操作；按照给定的变异概率对个体进行基本位变异；

5）对完成一次遗传算子操作的支持度数据进行扫描，对于体支持度值大于等于交叉概率的个体，就添加到嵌套子窗口的频繁项集中；

6）判断迭代结束条件，如果算法迭代处理的计数比最大迭代次数小，那么回到步骤3）继续进行，否则停止运算，当前嵌套子窗口内数据旳频繁项集就稳定地获得了；

7）将最新嵌套子窗口的各个频繁项集，与进行并行计算获得的频繁项集一起组成频繁项集种群，然后根据其支持度进行扫描搜索，满足支持度条件的频繁项集作为滑动窗口内数据最终频繁项集的输出；

8）动态操作，在数据流流动和滑动窗口的迁移，会接收到流入的新数据，同时删除过期的旧数据，更新数据后的滑动窗口数据作为新的处理起点，转第二步挖掘新的频繁项集，直到数据流单次扫描结束。