[发明专利]基于并行计算的SGD负载均衡方法、装置及存储介质在审
| 申请号： | 202010723846.3 | 申请日： | 2020-07-24 |
| 公开（公告）号： | CN111858058A | 公开（公告）日： | 2020-10-30 |
| 发明（设计）人： | 王彪;王亚强;刘魁 | 申请（专利权）人： | 成都成信高科信息技术有限公司;成都信息工程大学 |
| 主分类号： | G06F9/50 | 分类号： | G06F9/50;G06F9/54;G06N3/04;G06N3/08 |
| 代理公司： | 成都金英专利代理事务所(普通合伙) 51218 | 代理人： | 袁英 |
| 地址： | 610000 四川省成都市双流西南航*** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了基于并行计算的SGD负载均衡方法，该方法包括：基于模型并行和数据并行相结合的设计模式实现分布式并行gpu计算；采用信号量机制实现主节点对子节点间同步通信，并在子容器中优化器采用随机梯度下降算法更新权重。主节点依据子节点控制表中的误差为权重构建最小生成树，发现图节点中的关键节点，并按次序消除无关节点，重新分配其硬件资源。实现多个模型副本同时处理训练样本的不同子集，周期性的对模型副本进行交互合并，对分布式算法进行优化。本发明提出了一种新的架构思路来实现负载均衡计算的策略，提高了模型开发效率并降低了开发成本，该算法对数据规模有较好的适应性，同时实现了动态管理子容器间的异步通信。 | ||
| 搜索关键词： | 基于 并行 计算 sgd 负载 均衡 方法 装置 存储 介质 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于成都成信高科信息技术有限公司;成都信息工程大学，未经成都成信高科信息技术有限公司;成都信息工程大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202010723846.3/，转载请声明来源钻瓜专利网。
