[发明专利]一种面向数据密集型及依赖关系的并行计算方法

摘要

本发明属于并行系统的技术领域，涉及针对数据划分及并行调度策略定量化研究，特别提出一种面向数据密集型及依赖关系的并行计算方法。该方法包括对于具有数据密集型特征的数据确定划分方法；对于具有数据密集型特征的并行计算建模及其相应并行化策略；基于并行化数据建模及并行化策略的调度策略与方法。本发明完全可应用于大规模海量数据的并行数字地形分析的高性能计算场合，例如，规则格网并行插值、坡度坡向并行计算、洼地填平并行计算，可视域地形分析等地形因子提取；可以应用于地理信息处理的高性能计算；也可以应用于基于地理信息的空间决策分析和数据挖掘等应用场合，提高处理效率。

主权项

一种面向数据密集型及依赖关系的并行计算方法，其特征在于，包括如下步骤：(1)对于具有数据密集型特征的数据确定划分方法；(2)对于具有数据密集型特征的数据进行并行化数据建模及其相应并行化策略设置；(3)基于步骤(2)的并行化数据建模及并行化策略进行调度；所述步骤(1)划分方法的确定过程为：步骤101：导入数据；对于具有数据密集型特征的并行计算建模，先将数据进行有效划分，然后针对每个块进行分别计算，最后进行结果融合；步骤102：根据处理数据特征选择数据划分方法：包括条划分方法和块划分方法，其中条划分分为行划分和列划分，块划分分为方形数据划分和矩形数据划分；通过公式与计算节点数P的关系来确定划分块数n，若则否则n＝P；其中，Msize为须处理数据大小，men为提供节点内存，k为提供节点的处理器数，P为计算节点数；步骤103：根据数据划分方法进行相应的并行化方法处理数据；当所述步骤(1)采用条划分方法时，步骤(2)的过程具体包括：步骤201：对于具体数据密集型特征数据进行条划分，即按照行或列对数据进行划分；步骤202：并行化策略:考虑处理算法对所划分数据块间是否存在依赖关系，若处理算法对于数据块之间无依赖关系，则执行步骤203，若处理算法对于数据块之间有依赖关系，则执行步骤204；步骤203：若每个数据块的任务相互独立，则直接并行执行；步骤204：若数据块的任务有相互依赖关系，则可从数据块1和数据块n开始逐次向中间顺序进行计算任务；每次有两个任务并行执行，故需要两个计算节点即可；步骤205：执行后续任务；步骤(3)的调度方法包括：步骤401：主节点选择有效的数据划分方法对数据进行划分，然后根据处理算法判断数据块是否具有依赖关系，主节点分发数据；步骤402：根据处理算法判断数据块是否具有依赖关系，若数据块之间不存在依赖关系，则执行步骤403；若数据块之间存在依赖关系，则执行步骤404；步骤403：主节点根据计算资源分发全部数据块，各个节点发起计算，并将计算结果发给主节点；步骤404：若数据划分采用条划分方法，则执行步骤405；否则执行步骤408；步骤405：主节点分发头与尾两个不存在依赖关系的数据块到两个节点，即数据块1和数据块n，节点发起计算，直到计算完毕；步骤406：主节点继续分发数据块2和数据块n‑1到上述两个节点，节点根据上层计算结果发起计算，直到计算完毕；步骤407：依次处理到数据块n/2和数据块n/2‑1，整个节点计算完毕，并将计算结果发给节点，执行步骤417；步骤408：若数据划分为块状n×n划分，则执行步骤409；否则执行步骤416；步骤409：根据数据依赖关系图，下层计算依赖上层结果，主节点分发第1层数据，即数据块1，节点发起计算，并将计算结果发回主节点；步骤410：主节点分发第2层数据：主节点首先将依赖于数据块1的数据块2分发到原计算节点，节点进行计算，并将计算结果发回主节点；步骤411：主节点同时启动一个新的节点，将依赖于数据块1的数据块3和上一层计算结果分发到新节点；节点进行计算，并将计算结果发回主节点；步骤412：主节点分发第3层数据：主节点继续启动一个新的节点，并将依赖于上层数据的数据块和上层数据的计算结果分发到三个节点中，节点进行计算，并将计算结果发回主节点；步骤413：依次处理后几层数据，每层启动一个新节点，直到n层数据处理结束，此时分节点总数为n；步骤414：主节点分发第n+1层数据：根据数据依赖关系图，从n层数据之后，每层数据块开始逐一减少，主节点将不再启动新节点，分发n+1层数据块和n层计算结果到n‑1个节点，n‑1个节点进行计算，并将计算结果发回主节点；步骤415：主节点依次分发后续几层数据块和依赖的计算结果，直到所有数据块计算结束，返回计算结果，执行步骤417；步骤416：若数据划分为块状n×m划分，数据处理同块状n×n划分，但在处理完n层数据块之后，由于此时分块为n×m划分，则在此后|m‑n+1|层，节点数均为n，处理时，主节点不须启动新的节点，执行步骤417；步骤417：主节点收集整理处理结果。