[发明专利]通信高效联合学习有效
| 申请号： | 201710874932.2 | 申请日： | 2017-09-25 |
| 公开（公告）号： | CN107871160B | 公开（公告）日： | 2021-09-10 |
| 发明（设计）人： | 休·布伦丹·麦克马汉;大卫·莫里斯·培根;雅各布·科内奇尼;于鑫楠 | 申请（专利权）人： | 谷歌有限责任公司 |
| 主分类号： | G06N3/04 | 分类号： | G06N3/04;G06N3/08;G06N20/00 |
| 代理公司： | 中原信达知识产权代理有限责任公司 11219 | 代理人： | 周亚荣;安翔 |
| 地址： | 美国加利*** | 国省代码： | 暂无信息 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请涉及通信高效联合学习。本公开提供一种用于在诸如例如联合学习框架的机器学习框架内传输模型更新的有效率通信技术，该联合学习框架中在大量客户端上分布的训练数据上训练高品质集中化模型，每个客户端具有不可靠的网络连接和低计算能力。在一个示例联合学习设置下，在多轮中的每一轮中，每个客户端独立地基于其本地数据来更新模型并且将更新的模型传送回到服务器，其中所有客户端侧更新被用来更新全局模型。本公开提供降低通信成本的系统和方法。特别地，本公开提供至少：结构化更新方案，其中模型更新被约束为小并且为概略的更新方案，其中，模型更新在发送到服务器之前被压缩。 | ||
| 搜索关键词： | 通信 高效 联合 学习 | ||
【主权项】：
一种用于通信高效机器学习的计算机实现的方法，所述方法包括：由客户端计算设备获得机器学习模型的参数集的全局值；由所述客户端计算设备至少部分地基于本地数据集来训练所述机器学习模型以获得更新矩阵，所述更新矩阵描述所述机器学习模型的所述参数集的经更新值，其中，所述更新矩阵被约束为具有预定义的结构，并且其中，所述本地数据集由所述客户端计算设备本地存储；以及由所述客户端计算设备将描述所述更新矩阵的信息传送到服务器计算设备。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于谷歌有限责任公司，未经谷歌有限责任公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710874932.2/，转载请声明来源钻瓜专利网。
