[发明专利]用于Dragonfly拓扑的Allreduce方法

权利要求书

1.一种用于Dragonfly拓扑的Allreduce方法，其特征在于，所述用于Dragonfly拓扑的Allreduce方法包括以下步骤：

在每一轮递归中，将参与通信的节点进行基于优先级的拓扑感知一对一匹配，得到匹配节点对，其中，所述匹配节点对中的两个所述节点之间交换部分或全部数据并进行归约；

将所述匹配节点对中的一个节点划分到预设的第一集合，并将所述匹配节点对中的另一个节点划分到预设的第二集合；

所述第一集合和所述第二集合分别进入下一轮递归，直至所述第一集合和所述第二集合中都仅剩一个节点，其中，若匹配的两个所述节点之间仅交换部分数据，在所有递归结束后，进行结果的反向传播，每个所述节点按照与自身匹配过的节点的倒序，发送所有结果数据，接收对方数据并与自身已有结果数据进行拼接。

2.如权利要求1所述的用于Dragonfly拓扑的Allreduce方法，其特征在于，所述优先级包括：

第一优先级匹配，位于同一交换机下的节点之间的匹配；

第二优先级匹配，位于同一Dragonfly组中的节点之间的匹配；

第三优先级匹配，位于不同Dragonfly组中的节点之间的匹配。

3.如权利要求2所述的用于Dragonfly拓扑的Allreduce方法，其特征在于，所述将参与通信的节点进行基于优先级的拓扑感知一对一匹配的步骤，包括：

根据所述第一优先级匹配，对位于同一交换机下的节点进行第一优先级匹配；

根据所述第三优先级匹配，对位于不同Dragonfly组中的部分节点进行第三优先级匹配；

根据所述第二优先级匹配，对位于同一Dragonfly组中的节点进行的第二优先级匹配。

4.如权利要求3所述的用于Dragonfly拓扑的Allreduce方法，其特征在于，所述对位于同一交换机下的节点进行第一优先级匹配的步骤，包括：

确定所述同一交换机下的所述节点的数量；

若所述节点的数量为偶数，则对位于同一交换机下的所述节点进行节点与节点之间的任意匹配；

若所述节点的数量为奇数，则在所述同一交换机下的各所述节点中任选一个节点作为未完成第一优先级匹配的节点，并对所述同一交换机下的其他节点进行节点与节点之间的任意匹配。

5.如权利要求3所述的用于Dragonfly拓扑的Allreduce方法，其特征在于，所述对位于不同Dragonfly组中的部分节点进行第三优先级匹配的步骤，包括：

若存在基于所述第一优先级匹配未完成匹配的节点，则确定剩余奇数个所述节点所在的奇数组，并在所述奇数组存在多个时，进行所述奇数组与所述奇数组之间的匹配；

在得到匹配的奇数组之间，将形成最短距离的节点构成第三优先级匹配。

6.如权利要求5所述的用于Dragonfly拓扑的Allreduce方法，其特征在于，所述进行所述奇数组与所述奇数组之间匹配的步骤，包括

根据所述奇数组构建目标图，其中，所述奇数组为所述目标图的顶点，两个所述顶点之间的边权为两个所述顶点内节点之间的最短距离；

对所述目标图进行最小权完美匹配计算，得到奇数组与所述奇数组之间的匹配。

7.如权利要求1所述的用于Dragonfly拓扑的Allreduce方法，其特征在于，所述每一轮递归包括第一轮递归，所述第一轮递归的步骤之前，还包括：

确定参与聚合通信的所有节点的总节点数N；

若所述总节点数N不是2的幂，则在参与聚合通信的所有节点中挑选n对预匹配的节点，其中，所述

在每对挑选出来的节点中，任意选择其中任意一个节点，并将选择的节点中的数据全部发送给另一个节点，随后退出接下来的递归；另一个节点接收数据，并进行归约计算，随后进入递归。