[发明专利]同步编程模型Hama BSP下基于蝶形网络的双聚类挖掘方法在审
申请号: | 201811106078.6 | 申请日: | 2018-09-13 |
公开(公告)号: | CN109243535A | 公开(公告)日: | 2019-01-18 |
发明(设计)人: | 姜涛;李钧涛 | 申请(专利权)人: | 河南财经政法大学 |
主分类号: | G16B25/10 | 分类号: | G16B25/10;G16B40/10 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 450046 河南*** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 聚类 蝶形网络 挖掘 编程模型 通信 多次迭代 全局通信 挖掘结果 有效减少 障栅同步 冗余度 数据量 通信量 源数据 超步 匹配 分组 部署 | ||
1.一种同步编程模型Hama BSP下基于蝶形网络的双聚类挖掘方法,其特征在于步骤如下:
前提:创建一个具有N个节点的集群,其中N=2n,n为迭代次数(也称超步),在每个节点上,首先部署Hadoop系统(Hama利用其中的HDFS文件系统),接着安装Hama,为了方便表示,每个节点用整数来表示,范围为[0,2n-1];
步骤1:本地计算阶段:在第step个超步中,每个节点主要做双聚类的挖掘工作,首先做本地变量的声明与初始化工作,利用geneSet存储属于同一双聚类的多个基因的名称,geneSets依照先后顺序存储所挖掘出的双聚类中的基因名集合,cdSeq存储属于同一双聚类的实验条件序列,cdSeqs同样依照先后顺序存储所挖掘出的双聚类中的实验条件序列的集合,Array口记录对应的长度为m的cdSeq的内存地址,Arrayl[]记录对应长度小于m的cdSeq的内存地址,ArrayNo[]记录对应的长度为m的cdSeq的数量,并将其初始化为0,超步数目step初始化为1;
步骤1.1:如果step=1,即为第1个超步,则只需要将本节点原有数据进行最长公共子序列匹配;
步骤1.2:否则,则需要将接收到的数据与本地数据(含前几个超步中传递过来的数据)、中间结果进行最长公共子序列匹配;
步骤2:全局通信阶段:将N个节点分为(log2N)/2step-1组,1≤step≤n,即每一组必须有2step个成员,即每组节点数grpSz为2setp,且这些成员拥有连续的编号;接着每一组又分成2个半组,即每个半组节点数hfGrpSz为2step-1;然后每个半组中的节点与另一个半组中步长之差为2step-1的节点进行交互;
步骤3:障栅同步阶段:等待所有通信行为的结束,即已交互完的节点等待未交互完的节点;
步骤4:step=step+1,重复步骤1.2至3,直到没有信息传递(flag为false)或者超步数目达到log2N,Hama平台的计算工作就停止下来。
2.根据权利要求1所述的方法,其特征在于所属步骤1至4所述的同步编程模型HamaBSP下基于蝶形网络的双聚类挖掘算法的伪代码如下:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于河南财经政法大学,未经河南财经政法大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811106078.6/1.html,转载请声明来源钻瓜专利网。