[发明专利]一种服务器集群及其深度学习的集合通信系统和方法在审
| 申请号： | 202110866054.6 | 申请日： | 2021-07-29 |
| 公开（公告）号： | CN113900793A | 公开（公告）日： | 2022-01-07 |
| 发明（设计）人： | 陈尧;赵谦谦;郭雷;阚宏伟 | 申请（专利权）人： | 苏州浪潮智能科技有限公司 |
| 主分类号： | G06F9/50 | 分类号： | G06F9/50 |
| 代理公司： | 北京集佳知识产权代理有限公司 11227 | 代理人： | 杨威 |
| 地址： | 215100 江苏省苏州市吴*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 服务器 集群 及其 深度 学习 集合 通信 系统 方法 | ||
1.一种深度学习的集合通信方法，其特征在于，应用于环形通信连接的N个FPGA中的任一FPGA中，N为不小于2的正整数，包括：
从与自身连接的各个GPU中读取待处理数据块，并对各个所述待处理数据块进行归约操作，得到归约操作结果；
基于自身得到的所述归约操作结果以及其他各个FPGA得到的归约操作结果，按照环形全局归约算法，得到全局归约结果；
将所述全局归约结果分发至与自身连接的各个GPU中。
2.根据权利要求1所述的深度学习的集合通信方法，其特征在于，每一个FPGA均与相同数量的GPU连接。
3.根据权利要求2所述的深度学习的集合通信方法，其特征在于，按照机内通信耗时和机外通信耗时平衡的原则，确定出与各个FPGA连接的GPU数量。
4.根据权利要求3所述的深度学习的集合通信方法，其特征在于，所述按照机内通信耗时和机外通信耗时平衡的原则，确定出与各个FPGA连接的GPU数量，包括：
确定出使得最小的数值G，并将确定出的所述数值G作为确定出的与各个FPGA连接的GPU数量；
其中，每个服务器中包括1个FPGA，X表示服务器的数量，K表示单个所述待处理数据块的大小，G表示确定出的与各个FPGA连接的GPU数量，V1表示FPGA之间的网络带宽，V2表示机内总线带宽。
5.根据权利要求4所述的深度学习的集合通信方法，其特征在于，确定出的与各个FPGA连接的GPU数量为2。
6.根据权利要求1所述的深度学习的集合通信方法，其特征在于，所述从与自身连接的各个GPU中读取待处理数据块，包括：
通过直接内存访问单元从与自身连接的各个GPU中读取待处理数据块。
7.根据权利要求1所述的深度学习的集合通信方法，其特征在于，N个FPGA中均具有远程直接内存访问单元以进行N个FPGA的环形通信连接。
8.根据权利要求1至7任一项所述的深度学习的集合通信方法，其特征在于，任一FPGA均按照流水线的方式执行所述深度学习的集合通信方法的各个步骤。
9.一种深度学习的集合通信系统，其特征在于，应用于环形通信连接的N个FPGA中的任一FPGA中，N为不小于2的正整数，包括：
直接内存访问单元，用于从与自身连接的各个GPU中读取待处理数据块；
归约单元，用于对各个所述待处理数据块进行归约操作，得到归约操作结果；
远程直接内存访问单元；
全局归约单元，用于利用所述远程直接内存访问单元，基于自身得到的所述归约操作结果以及其他各个FPGA得到的归约操作结果，按照环形全局归约算法，得到全局归约结果；通过所述直接内存访问单元将所述全局归约结果分发至与自身连接的各个GPU中。
10.一种服务器集群，其特征在于，包括如权利要求9所述的深度学习的集合通信系统。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于苏州浪潮智能科技有限公司，未经苏州浪潮智能科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202110866054.6/1.html，转载请声明来源钻瓜专利网。
