[发明专利]同步编程模型Hama BSP下基于蝶形网络的双聚类挖掘方法

摘要

本发明提出了同步编程模型Hama BSP下基于蝶形网络的双聚类挖掘方法。具体为首先部署一个底层为HDFS、且含有2ⁿ个节点的Hama平台，接着在本地计算阶段，Hama平台上的每个节点做双聚类挖掘工作，如果为第1个超步，则只需要利用本地源数据，否则只需将新接收到的数据与本地数据进行匹配，然后在全局通信阶段，利用蝶形网络方法对节点进行分组并通信，在障栅同步阶段进行通信的同步；依照此方法，经过多次迭代，最终挖掘出所有双聚类，该方法使得通信量较少，有效减少了通信的数据量与挖掘结果的冗余度，提升了节点的利用率。

主权项

1.一种同步编程模型Hama BSP下基于蝶形网络的双聚类挖掘方法，其特征在于步骤如下：前提：创建一个具有N个节点的集群，其中N＝2n，n为迭代次数(也称超步)，在每个节点上，首先部署Hadoop系统(Hama利用其中的HDFS文件系统)，接着安装Hama，为了方便表示，每个节点用整数来表示，范围为[0，2n‑1]；步骤1：本地计算阶段：在第step个超步中，每个节点主要做双聚类的挖掘工作，首先做本地变量的声明与初始化工作，利用geneSet存储属于同一双聚类的多个基因的名称，geneSets依照先后顺序存储所挖掘出的双聚类中的基因名集合，cdSeq存储属于同一双聚类的实验条件序列，cdSeqs同样依照先后顺序存储所挖掘出的双聚类中的实验条件序列的集合，Array口记录对应的长度为m的cdSeq的内存地址，Arrayl[]记录对应长度小于m的cdSeq的内存地址，ArrayNo[]记录对应的长度为m的cdSeq的数量，并将其初始化为0，超步数目step初始化为1；步骤1.1：如果step＝1，即为第1个超步，则只需要将本节点原有数据进行最长公共子序列匹配；步骤1.2：否则，则需要将接收到的数据与本地数据(含前几个超步中传递过来的数据)、中间结果进行最长公共子序列匹配；步骤2：全局通信阶段：将N个节点分为(log2N)/2step‑1组，1≤step≤n，即每一组必须有2step个成员，即每组节点数grpSz为2setp，且这些成员拥有连续的编号；接着每一组又分成2个半组，即每个半组节点数hfGrpSz为2step‑1；然后每个半组中的节点与另一个半组中步长之差为2step‑1的节点进行交互；步骤3：障栅同步阶段：等待所有通信行为的结束，即已交互完的节点等待未交互完的节点；步骤4：step＝step+1，重复步骤1.2至3，直到没有信息传递(flag为false)或者超步数目达到log2N，Hama平台的计算工作就停止下来。