[发明专利]一种基于MPI的分布式共轭梯度法的调优计算方法

摘要

本发明涉及一种基于MPI的分布式共轭梯度法的调优计算方法。传统的串行计算方法的演算流程不能有效地利用多核平台的优势。本发明当有新的节点加入计算集群时，采用预调优算法确定该节点的计算线程数并得到适用于集群计算的最优矩阵分块大小；将矩阵数据结构按最优分块大小，转换为分块压缩结构；在计算任务执行之前，根据各个节点的预调优数据为每个节点的线程分配计算量；当共轭梯度法演算流程执行矩阵与向量乘时，利用MPI自动将计算任务分配到集群中的计算节点，当计算完成后将结果主动归约到主节点。本发明采用高度压缩及灵活方便的BCSR结构针对稀疏矩阵进行分块处理，降低了计算时间复杂度中的常数，节省了存储空间。

主权项

1.一种基于MPI的分布式共轭梯度法的调优计算方法，其特征在于该方法包括以下步骤：步骤1.准备节点，具体是：1-1.进行各节点的硬件部署；1-2.判断是否有新节点加入，如果有新节点加入，则进行步骤1-3的预调优，否则转入步骤2；1-3.利用选取的个矩阵所构成的基准矩阵集，对集群计算性能进行调优，其具体过程如下：设为的基准矩阵，其中与分别为相应基准矩阵的行数与列数，对其生成的随机向量，选用所有的矩阵分块方式，将基准矩阵按分块方式格式化为相应的BCSR结构，利用计算量分配算法进行节点部署，根据进行节点部署时得到的计算量分配方案，通过MPI控制集群中的各计算节点进行并行的矩阵向量乘运算，从而统计出集群在不同分块方式下的运算开销，其中；在完成基准矩阵集的运算开销的统计之后，对于不同的分块方式分别计算出集群运算的平均开销，选取其中平均开销最小的分块方式作为集群进行矩阵向量乘的最终分块方式；步骤2.准备数据，具体是：2-1.判断是否有计算任务，若无计算任务，则结束，否则对矩阵进行读取；2-2.对读取的矩阵按步骤1得到的最终分块方式格式化为相应的BCSR结构；步骤3.分配部署，具体是：通过计算量分配算法针对当前计算任务进行节点的部署，来获得计算量的分配方案；步骤4.进行演算，具体是：4-1.开始共轭梯度法的迭代；4-2.判断演算流程是否涉及到矩阵向量乘，若涉及到矩阵向量乘，则根据步骤3中得到的分配方案，对子矩阵在集群节点上的进行分配；否则跳转至步骤4-4；4-3.通过MPI控制集群中的各计算节点进行并行计算，然后跳转至步骤4-54-4.利用主节点进行演算，按照计算量的分配，开启计算线程，并与CPU核一一绑定，从而使得各CPU核之间的运算以及各自cache的命中与刷新互不干扰；4-5.判断迭代是否结束，未结束则跳转至步骤4-2，否则转入步骤4-6；4-6.判断是否满足演算终止条件，若满足，则演算结束，否则转入步骤4-1重新开始迭代。