[发明专利]在构成网络的多个节点（处理器）之间，对包含多对多通信的多个计算处理进行调度的方法、程序和并行计算机系统

说明书

技术领域

本发明涉及在构成n维的(环形或网状)网络的多个节点(处理器)之间，对包含多对多通信(A2A：all-to-all communication)的多个计算处理进行最佳调度。

背景技术

在通过环形(torus)或网状(mesh)等网络连接的并行计算机中，多个节点(处理器)之间的通信的性能极大地影响计算处理的速度。作为代表性的通信模式(pattern)，已知全部节点向其它的全部节点发送对每个节点不同的数据的多对多通信(all-to-all communication，缩写为“A2A”)，需要最多的通信传送量。已知多对多通信是在矩阵或数组(矩阵)的转置(transpose，缩写为“T”)或快速傅立叶变换(Fast Fourier Transform，缩写为“FFT”)等很多的计算中，频繁地被利用的通信形态。

专利文献1表示在FFT的计算中，将数组转置或在1维(1D)FFT的计算中使作为2维(2D)FFT来处理处于一般的技术水准。横跨多个处理器处理第1维，横跨多个处理器处理第2维。

专利文献2记载了在n维环形网络中的多对多通信内部的处理中，将阶段(phase)重叠以实现高效率的办法。这里，进行专利文献2和本发明的对比说明。本发明是将多对多通信变换为多个局部的多对多通信，以多对多通信为单位进行流水线处理(pipeline)，所以不含多对多通信内部的安装方式，发明的适用对象不同。另外，调度的对象不同，在专利文献2中不包含如本发明那样的多对多通信以外的处理和多对多通信内的处理的重合。

现有技术文献

专利文献

专利文献1：专利第3675537号(日本)

专利文献2：专利第2601591号(日本)

发明内容

发明要解决的问题

希望在构成n维(环形或网状)网络的多个节点(处理器)之间，将包含多对多通信(A2A：all-to-all communication)的多个计算处理进一步高效率。

解决问题的方案

将构成网络的多个节点(处理器)分为：进行仅对第1部分组中包含的多个节点之间的多对多通信所需要的计算处理阶段(A2A-L)，和进行仅对第2部分组中包含的多个节点之间的多对多通信所需要的计算处理阶段(A2A-P)，在遍及Nt个的多个线程(线程1、线程2、线程3、线程4、...、线程Nt))，使各个阶段重叠进行并行处理。

发明效果

在构成n维(环形或网状)网络的多个节点(处理器)之间，能够对包含多对多通信(A2A：all-to-all communication)的多个计算处理进行最佳调度，能够提高计算性能。

附图说明

图1的(A)～(C)是说明在并行计算机中对1维(1D)FFT(长度N)进行计算处理的示意图。

图2的(A)和(B)是表示节点(处理器)的结构的示意图。

图3是作为用于说明网络的维和最长的轴的示意图而图示4维环形网络的图。

图4是图示并行1维(1D)FFT的性能因构成环形的节点(处理器)的轴的数的结构而如何不同的图。

图5是表示适用本发明，在多个节点(处理器)之间，对包含多对多通信(A2A：all-to-all communication)的多个计算处理进行调度的方法的图。

图6是作为适用了本发明的情况的效果，表示并行1维(1D)FFT的性能因构成环形的节点(处理器)的轴的数的结构而如何不同的图。

具体实施方式

图1是说明将1维(1D)FFT(长度N)在并行计算机中进行计算处理的示意图。

图1的(A)表示为了将1维(1D)FFT(长度N)用并行计算机进行计算处理，将其变形为2维(2D)FFT(N1，N2)(N＝N1×N2)这样的形式，分为N1和N2长度的2个FFT进行并行处理。换句话说，作为N1和N2的2维(2D)，表示改变并行处理的方向来进行处理。其中，np是处理器(节点)的数(number of processor)。

图1的(B)表示并行过的1维(1D)FFT算法。已知在并行过的1维(1D)FFT中的计算处理中，在从输入得到输出的过程中需要3次转置(transpose，“T”)。例如在专利文献1中，这种情况也作为一般的技术水准来表示。