[发明专利]一种加速分布式深度神经网络的训练方法及装置在审
| 申请号： | 201810646003.0 | 申请日： | 2018-06-21 |
| 公开（公告）号： | CN108876702A | 公开（公告）日： | 2018-11-23 |
| 发明（设计）人： | 廖建新;王敬宇;王晶;戚琦;徐捷 | 申请（专利权）人： | 北京邮电大学 |
| 主分类号： | G06T1/20 | 分类号： | G06T1/20;G06N3/10;G06N3/08 |
| 代理公司： | 北京柏杉松知识产权代理事务所(普通合伙) 11413 | 代理人： | 李欣;马敬 |
| 地址： | 100876 *** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明实施例提供了一种加速分布式深度神经网络的训练方法及装置，所述方法包括：基于并行训练，将深度神经网络的训练设计成为分布式训练的模式，待训练的深度神经网络模型划分为多个子网络；训练样本集划分为多个子样本集；基于分布式集群架构及预设的调度方法，利用多个子样本集对深度神经网络进行训练，每个训练由多个子网络同时进行，进而完成深度神经网络的分布式训练；由于基于分布式集群架构及预设的调度方法可以通过数据本地化减小网络延迟对分布式训练的子网络的影响，并实时调整训练策略，同步并行训练的子网络的进度，进而可以缩短分布式深度神经网络的完成训练的时间，加速深度神经网络的训练。 | ||
| 搜索关键词： | 神经网络 分布式集群 并行训练 样本集 子网络 预设 架构 神经网络模型 数据本地化 训练样本集 调度 实时调整 网络延迟 减小 网络 进度 | ||
【主权项】：
1.一种加速分布式深度神经网络的训练方法，其特征在于，所述方法包括：将待训练的深度神经网络划分为多个子网络；将预先获取的训练样本集划分为多个子样本集；基于分布式集群架构及预设的调度方法，利用所述多个子样本集对所述待训练的深度神经网络进行分布式训练，每个子网络的训练加速通过数据本地化减小网络延迟的影响实现，其中，所述多个子网络同时进行训练，并行的子网络之间同步训练进度，实现分布式深度神经网络的加速训练，所述数据本地化是指任务执行在预设云资源节点，使得数据传输时间最短。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京邮电大学，未经北京邮电大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810646003.0/，转载请声明来源钻瓜专利网。
- 上一篇：一种基于游程的单次扫描连通域标记方法及其硬件结构
- 下一篇：数据存储方法
