[发明专利]用于多处理单元互连加速器系统的拓扑和算法

权利要求书

1.一种计算系统，包括：

多个并行处理单元，被组织成多个并行处理单元分组，

其中，每个并行处理单元分组中的每个并行处理单元通过两个双向通信链路耦接到同一并行处理单元分组中的每个其他并行处理单元，并且每个并行处理单元通过一双向通信链路耦接到对应其他并行处理单元分组的对应并行处理单元。

2.根据权利要求1所述的计算系统，其中所述各个并行处理单元和所述各个双向通信链路被配置为计算All_Reduce函数。

3.根据权利要求2所述的计算系统，其中所述各个并行处理单元和所述各个双向通信链路被配置为计算All_Reduce函数，包括：

每个并行处理单元被配置为减少在相应两个双向通信链路上从同一并行处理单元分组中的其他并行处理单元接收到的对应一组输入数据；

每个并行处理单元被配置为减少在相应一双向通信链路上从对应其他并行处理单元分组中的对应并行处理单元接收到的对应一组中间数据；以及

每个并行处理单元被配置为在相应的两个双向通信链路上向同一并行处理单元分组中的其他并行处理单元广播对应一组数据和。

4.根据权利要求1所述的计算系统，其中：

所述多个并行处理单元包括八个并行处理单元；

所述多个并行处理单元被组织成两个分组，每个分组有四个并行处理单元；

两个双向通信链路将每个并行处理单元耦接到同一并行处理单元分组中的其他三个并行处理单元；以及

一双向通信链路将每个并行处理单元耦接到其他并行处理单元分组中的对应并行处理单元。

5.根据权利要求4所述的计算系统，其中：

输入数据被划分为四组；

每个并行处理单元被配置为将在所述两个双向通信链路上从同一并行处理单元分组中的其他并行处理单元接收到的对应各组输入数据与相应并行处理单元的一组输入数据组进行求和，生成对应一组中间数据；

每个并行处理单元被配置为将在所述一双向通信链路上从其他并行处理单元分组中的对应并行处理单元接收到的对应一组中间数据组与相应并行处理单元的一组中间数据进行求和，生成相应一组数据和；以及

每个并行处理单元被配置为将相应并行处理单元的数据和广播到同一并行处理单元分组中的其他并行处理单元。

6.根据权利要求5所述的计算系统，还包括：流式处理以下步骤的多次迭代：

将在所述两个双向通信链路上从同一并行处理单元分组中的其他并行处理单元接收到的对应各组输入数据组与相应并行处理单元的一组输入数据进行求和，生成相应一组中间数据；以及

将在所述一双向通信链路上从其他并行处理单元分组中的对应并行处理单元接收到的对应各组中间数据与相应并行处理单元的一组中间数据组进行求和，生成相应一组数据和；

将相应并行处理单元的数据和广播到同一并行处理单元分组中的其他并行处理单元。

7.一种计算方法，包括：

针对一簇并行处理单元配置通信链路，所述一簇并行处理单元具有八个并行处理单元，并且被组织成两个分组，其中，每个并行处理单元通过两个双向通信链路耦接到同一分组中的每个其他并行处理单元，并且每个并行处理单元通过一双向通信链路耦接到其他分组中的对应并行处理单元；

将输入数据划分成四组，在两个并行处理单元分组中的对应并行处理单元上进行处理；

对两个并行处理单元分组，并行减少沿2x3双向通信链路的输入数据；

对两个并行处理单元分组，减少对应并行处理单元之间的数据；以及

对两个并行处理单元分组，并行地广播沿2x3双向通信链路的数据。