[发明专利]同步编程模型Hama BSP下基于蝶形网络的双聚类挖掘方法

说明书

本发明提出了同步编程模型Hama BSP下基于蝶形网络的双聚类挖掘方法。具体为首先部署一个底层为HDFS、且含有2ⁿ个节点的Hama平台，接着在本地计算阶段，Hama平台上的每个节点做双聚类挖掘工作，如果为第1个超步，则只需要利用本地源数据，否则只需将新接收到的数据与本地数据进行匹配，然后在全局通信阶段，利用蝶形网络方法对节点进行分组并通信，在障栅同步阶段进行通信的同步；依照此方法，经过多次迭代，最终挖掘出所有双聚类，该方法使得通信量较少，有效减少了通信的数据量与挖掘结果的冗余度，提升了节点的利用率。

技术领域

本发明属于Hama BSP编程领域，具体涉及一种同步编程模型Hama BSP下基于蝶形网络的双聚类挖掘方法。

背景技术

高通量技术(比如基因微阵列)的飞速发展使得同时测量一个器官的所有基因的表达水平成为可能。这样，也就积累了大量的基因表达数据。这些数据可以看作n×m的矩阵，其中n为基因数目(行数)、m为实验条件个数(列数)、矩阵中的每个数据表示给定基因在设定实验下的表达水平。目前，双聚类已经成为一种重要的基因表达数据分析工具，因为其在推断和创建基因调控网络中发挥着重要的作用。设计双聚类算法的目的是从基因表达数据中发现部分行和部分列组成的子矩阵，该子矩阵中的部分行和部分列在基因表达水平上又要表现出同样的升降趋势。目前已经有许多关于双聚类挖掘的单机算法，但是双聚类的挖掘属于数据密集型计算中的一种，所以迫切需要加快其处理速度。

Hama BSP是一种可以提升矩阵和图等数据处理的编程模型。该模型包括三个阶段，分别为本地计算阶段、全局通信阶段、障栅同步阶段。上述三个阶段统称一个超步。在本地计算阶段，每个节点只对存储在本地内存中的数据进行计算。在全局通信阶段，对任何非本地数据进行操作。在障栅同步阶段，等待所有通信行为的结束。图1描述了传统的HamaBSP处理框架。

通常，一个算法的完全执行需要多个超步。一般情况下，全局通信阶段需要传递的数据量不大且无冗余信息。然而，一些应用领域，如寻找基因表达数据中的双聚类，需要每两行数据之间都要做计算。这种情况下，每个节点都要将本地数据传递给其他节点，同时接收其他节点传递过来的数据。这样就相当于每个节点都拥有全局数据，且所有节点的挖掘结果是相同的，也就降低为单机处理的情况，并没有充分发挥分布式并行平台的优势。因此，Hama BSP的通信与计算模式并不能直接扩展到寻找基因表达数据中的双聚类应用中，为此，必须根据基因表达数据等密集型计算数据的特点来改善Hama BSP编程模型的通信与计算模式。

发明内容

要解决的技术问题

为了提升双聚类挖掘的效率、充分发挥分布式并行平台的优势、有效避免冗余数据传递造成的计算效率低下这一问题，本发明提出一种同步编程模型Hama BSP下基于蝶形网络的双聚类挖掘方法。

技术方案

一种同步编程模型Hama BSP下基于蝶形网络的双聚类挖掘方法，其特征在于步骤如下：

前提：创建一个具有N个节点的集群，其中N＝2ⁿ，n为迭代次数(也称超步)。在每个节点上，首先部署Hadoop系统(Hama利用其中的HDFS文件系统)，接着安装Hama。为了方便表示，每个节点用整数来表示，范围为[0，2ⁿ-1]。

步骤1：本地计算阶段：在第step个超步中，每个节点主要做双聚类的挖掘工作。首先做本地变量的声明与初始化工作，利用geneSet存储属于同一双聚类的多个基因的名称，geneSets依照先后顺序存储所挖掘出的双聚类中的基因名集合，cdSeq存储属于同一双聚类的实验条件序列，cdSeqs同样依照先后顺序存储所挖掘出的双聚类中的实验条件序列的集合，Array[]记录对应的长度为m的cdSeq的内存地址，Array1[]记录对应长度小于m的cdSeq的内存地址，ArrayNo[]记录对应的长度为m的cdSeq的数量，并将其初始化为0，超步数目step初始化为1。