[发明专利]在并行计算机上执行全收集操作的方法和系统

说明书

技术领域

本发明涉及数据处理领域，更具体地说，本发明涉及在并行计算机上执行全收集操作(allgather operation)的方法和产品。

背景技术

1948年EDVAC计算机系统的出现通常被称为计算机时代的开始。从那以后，计算机系统已演化成极其复杂的设备。目前的计算机比早期的系统，比如EDVAC复杂得多。计算机系统一般包括硬件和软件组件、应用程序、操作系统、处理器、总线、存储器、输入/输出装置等的组合。随着半导体处理和计算机体系结构方面的进展使计算机的性能越来越高，更复杂的计算机软件发展成利用硬件的更高性能，形成今天的比仅仅几年前的计算机系统强大得多的计算机系统。

并行计算是已经历发展的计算机技术的一个领域。并行计算是相同任务(被分解和特别修改)在多个处理器上的同时执行，以便更快得到结果。并行计算以解决一个问题的处理通常可被分成较小的任务的事实为基础，在进行一定协调的情况下，所述较小的任务可被同时执行。

并行计算机执行并行算法。并行算法可被分解，以便同时在许多不同的处理装置上执行一部分，最后被重新合并起来，从而获得数据处理结果。一些算法易于分成多个部分。通过把从1到100000的数字的一个子集分配给每个可用处理器，随后把明确结果的列表合并起来，可完成分解检查从1到100000的全部数字，以了解哪些数字是质数的作业。在本说明书中，执行并行程序的单一部分的多处理装置被称为‘计算节点’。并行计算机由计算节点以及其它处理节点，例如包括输入/输出(‘I/O’)节点和服务节点构成。

并行算法颇有价值，因为由于现代处理器工作的方式的缘故，与通过串行(非并行)算法执行某些种类的大型计算任务相比，通过并行算法执行所述某些种类的大型计算任务会更快。与利用具有相同吞吐量的许多慢速处理器构成计算机相比，利用单个快速处理器构成计算机要困难得多。另外对于串行处理器的可能速度，存在一定的理论极限。另一方面，每个并行算法具有一个串行部分，从而并行算法具有饱和点。在所述饱和点之后增加更多的处理器不会产生更高的吞吐量，只会增大开销和成本。

并行算法还被用来优化并行计算机的节点之间的数据通信需要的一个以上的资源。并行处理器的通信方式有两种，共用存储器或者消息传递。共用存储器处理需要对数据的附加锁定，强加附加处理器和总线周期的开销，另外还使算法的某一部分串行化。

消息传递处理使用高速数据通信网络和消息缓冲区，但是这种通信在数据通信网络上增加传送开销，以及消息缓冲区需要的附加存储器和节点间的数据通信中的等待时间。并行计算机的设计使用专门设计的数据通信链路，以致通信开销将较小，但是决定通信量的是并行算法。

许多数据通信网络体系结构被用于并行计算机中的节点之间的消息传递。计算节点可被组织成‘环形’(torus)网或‘网格’(mesh)网。另外，计算节点可被组织成树形网。环形网利用回绕链路把节点连接成三维网格。每个节点通过该环形网与其六个相邻节点连接，每个节点由其在网格中的x，y，z坐标寻址。在树形网中，节点一般被连接成二叉树：每个节点具有一个父节点，和两个子节点(不过一些节点可能没有子节点或者只具有一个子节点，取决于硬件配置)。在使用环形网和树形网的计算机中，一般利用独立的路由电路，独立的物理链路，和独立的消息缓冲区相互独立地实现这两种网络。

环形网适合于点对点操作，但是树形网在点对点通信方面效率一般不高。但是，树形网为其中所有计算节点同时参与的一些集合操作，消息传递操作，比如全收集操作提供高带宽和低的等待时间。全收集操作是一种关于计算节点的工作组的集合操作，该操作从工作组中的所有计算节点收集数据，按照等级次序把收集的数据串联到存储缓冲区中，并把存储缓冲区的整个内容提供给工作组中的所有计算节点。由于成千上万的节点可能参与并行计算机上的集合操作，因此执行并行计算机上的全收集操作始终是一个挑战。现有的执行全收集操作的一种典型算法是工作组中的每个计算节点向工作组中的所有计算节点广播它的数据贡献。如果工作组较大，并且这样的工作组可能包含成千上万个计算节点的话，那么这种算法的数据通信成本是相当大的。

发明内容