[发明专利]一种分布式并行训练的方法、设备及可读介质在审
| 申请号： | 202010154752.9 | 申请日： | 2020-03-08 |
| 公开（公告）号： | CN111381966A | 公开（公告）日： | 2020-07-07 |
| 发明（设计）人： | 孙红岩 | 申请（专利权）人： | 苏州浪潮智能科技有限公司 |
| 主分类号： | G06F9/50 | 分类号： | G06F9/50;G06N20/00 |
| 代理公司： | 北京连和连知识产权代理有限公司 11278 | 代理人： | 刘小峰 |
| 地址： | 215100 江苏省苏州市吴*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 分布式 并行 训练 方法 设备 可读 介质 | ||
1.一种分布式并行训练的方法，其特征在于，包括以下步骤：
为多个进程分配GPU；
将多个所述进程下的多个所述GPU设置为采用相同的优化器和网络状态参数；
在多个所述进程下，将训练模型的不同网络层分配到不同的所述GPU上；以及
将训练集分配到所述多个进程，并通过多个所述进程下的多个所述GPU并行进行训练。
2.根据权利要求1所述的分布式并行训练的方法，其特征在于，为多个进程分配GPU包括：
获取环境变量信息以得到GPU的使用列表；
基于所述GPU的使用列表为多个进程分配所述GPU。
3.根据权利要求1所述的分布式并行训练的方法，其特征在于，为多个进程分配GPU包括：
调用库函数获取GPU的数目，并设置GPU的使用列表；
基于所述GPU的使用列表为多个进程分配所述GPU。
4.根据权利要求1所述的分布式并行训练的方法，其特征在于，将训练模型的不同网络层分配到不同的所述GPU上包括：
基于训练模型的不同网络层的计算强度分配不同数量的GPU；
将处理相同所述网络层的所述GPU之间并联；
将处理不同所述网络层的所述GPU之间串联。
5.根据权利要求1所述的分布式并行训练的方法，其特征在于，将训练集分配到所述多个进程包括：
将训练集的数据平均分配并发送到所述多个进程上。
6.一种计算机设备，其特征在于，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现以下步骤：
为多个进程分配GPU；
将多个所述进程下的多个所述GPU设置为采用相同的优化器和网络状态参数；
在多个所述进程下，将训练模型的不同网络层分配到不同的所述GPU上；以及
将训练集分配到所述多个进程，并通过多个所述进程下的多个所述GPU并行进行训练。
7.根据权利要求6所述的计算机设备，其特征在于，为多个进程分配GPU包括：
获取环境变量信息以得到GPU的使用列表；
基于所述GPU的使用列表为多个进程分配所述GPU。
8.根据权利要求6所述的分布式存储的装置，其特征在于，为多个进程分配GPU包括：
调用库函数获取GPU的数目，并设置GPU的使用列表；
基于所述GPU的使用列表为多个进程分配所述GPU。
9.根据权利要求6所述的分布式存储的装置，其特征在于，将训练模型的不同网络层分配到不同的所述GPU上包括：
基于训练模型的不同网络层的计算强度分配不同数量的GPU；
将处理相同所述网络层的所述GPU之间并联；
将处理不同所述网络层的所述GPU之间串联。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5任意一项所述方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于苏州浪潮智能科技有限公司，未经苏州浪潮智能科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202010154752.9/1.html，转载请声明来源钻瓜专利网。
