[发明专利]一种面向数据并行计算容错的快速并行复算方法

摘要

本发明属于并行系统容错的技术领域，涉及利用冗余计算对计算任务进行检错和纠错进行的并行复算方法，特别提出基于出错任务对应的数据块进行逻辑划分及二次调度的快速并行复算方法。包括：对数据块的计算结果进行基于冗余计算策略的错误检测；基于多线程的线程检错和进程复算纠错进行的复算方法。本发明的方法完全可应用于大规模海量数据的并行数字地形分析的高性能计算的容错处理场合，例如，规则格网并行插值、坡度坡向并行计算、洼地填平并行计算等地形因子提取；可以应用于地理信息处理的高性能计算；也可以应用于基于地理信息的空间决策分析和数据挖掘等应用场合，提高处理效率。

主权项

1.一种面向数据并行计算容错的快速并行复算方法，其特征在于，所述方法包括：步骤1，读入数据与数据分发：首先主节点的进程读入数据，按照数据划分策略，启动相应的线程；然后，每个线程依据二次冗余计算策略，将每个数据块分发给两个从节点进程；步骤2，冗余计算：从节点的每个进程计算某个数据块的逻辑子块，完成一个逻辑子块后，发送结果给主节点的线程，若是最后一个逻辑子块，则线程结束该数据块的计算，否则，继续执行下一个逻辑子块；步骤3，错误检测：主节点上的线程接收到两个从节点的计算进程的逻辑子块的计算结果后，立即进行该子块的结果一致性检查；若两个子块的计算结果一致，则执行步骤6融合子块结果，否则计算结果有错，则进入步骤4启动复算过程；若该子块是该数据块的最后一个子块，则进入步骤7进行结果保存，否则线程等待接收下一个子块的计算结果；步骤4，重分发子块：线程检测到某个数据块的逻辑子块的结果有错，则立即分发出错的逻辑子块给一个从节点的计算进程，然后等待结果；步骤5，子块复算：从节点的进程接收到逻辑子块后，发起子块的计算过程；计算完成后，进程将子块的结果发给线程；步骤6，数据融合：线程收到逻辑子块的计算结果后，将结果融合到该数据块的结果中；步骤7，结果保存：将该数据块的结果保存。