[发明专利]基于全局率权重的分布式深度学习系统有效
| 申请号： | 201910530003.9 | 申请日： | 2019-06-19 |
| 公开（公告）号： | CN110276455B | 公开（公告）日： | 2022-08-30 |
| 发明（设计）人： | 王堃;沈楠;张焌峰;孙雁飞;亓晋;岳东 | 申请（专利权）人： | 南京邮电大学 |
| 主分类号： | G06N20/00 | 分类号： | G06N20/00 |
| 代理公司： | 南京苏科专利代理有限责任公司 32102 | 代理人： | 姚姣阳 |
| 地址： | 210003 江苏*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 基于 全局 权重 分布式 深度 学习 系统 | ||
1.一种基于全局率权重的分布式深度学习系统，其特征在于，包括多个工作节点和服务器；所述多个工作节点与所述服务器耦接；
所述工作节点，适于按照预设的周期向服务器发送对应的网络分析参数，具体地，将对应周期更新的局部训练参数与全局训练参数之间的差值与全局训练参数之间的差值作为所述网络分析参数；
所述服务器，适于基于所述工作节点发送的网络分析参数，为工作节点分配对应的全局率学习权重，具体地，采用如下的公式基于所述差值，计算得到为所述工作节点分配的全局率学习权重：其中，η表示工作节点的权重值，t表示预设的阈值，d表示所述工作节点更新的神经网络模型参数中局部训练参数与全局训练参数之间的差值，C表示预设的常数。
2.根据权利要求1所述的基于全局率权重的分布式深度学习系统，其特征在于，所述工作节点，适于在参数训练阶段将对应的网络分析参数发送至所述服务器。
3.根据权利要求1所述的基于全局率权重的分布式深度学习系统，其特征在于，所述服务器，还适于基于所述工作节点发送的网络分析参数，对所述工作节点更新的局部训练参数进行过滤。
4.根据权利要求1所述的基于全局率权重的分布式深度学习系统，其特征在于，所述服务器，适于当确定所述差值大于或等于预设的阈值时，对所述工作节点更新的局部训练参数进行丢弃；当确定所述差值小于预设的阈值时，对所述工作节点更新的局部训练参数进行接收并保存。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于南京邮电大学，未经南京邮电大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201910530003.9/1.html，转载请声明来源钻瓜专利网。
