[发明专利]使用局部敏感散列的联合机器学习

说明书

在联合机器学习中使用局部敏感散列。服务器从客户端接收局部敏感散列(LSH)向量。在一个实施例中，服务器基于LSH向量将客户端分组到集群中；服务器通过从集群中的每个集群挑选至少一个客户端来选择客户端的子集。在另一实施例中，服务器通过最小化客户端的子集的梯度发散来找到客户端的子集。服务器从所选择的客户端接收基于经更新的模型的参数向量而被计算的LSH向量，并且基于LSH向量，服务器确定经更新的模型是否与正在训练的模型充分不同；响应于确定经更新的模型与该模型充分不同，服务器请求所选择的客户端向服务器发送参数向量。

背景技术

本发明一般涉及联合机器学习，并且更特定地涉及使用局部敏感散列来动态地选择客户端并高效地更新联合机器学习中的模型。

联合机器学习允许大量客户端或设备(例如，边缘和移动设备)协作地训练和/或学习全局模型。联合学习系统可以具有数百到数百万个客户端。仅具有在联合机器学习过程中涉及的客户端的子集通常是充分的，因为客户端中的一些客户端可以具有用于训练全局模型的相似的局部数据。而且，由于资源的成本和效率，仅选择客户端的子集。联合机器学习中深度神经网络(DNN)的大小通常很大，并且发送所有模型参数是非常低效的。

先前公开使用客户端的随机选择。在客户端的随机选择中，通常不考虑客户端的资源和成本效率，并且忽略了某些客户端具有唯一数据并且可以提供用于机器学习的重要信息的事实。例如，Bonawitz等人在“Towards Federated Learning at Scale:SystemDesign(arXiv:1902.01046v2,2019)”中公开了一种方法；在该方法中，通过简单的存储库取样来完成客户端的选择。

先前公开还使用基于优化的客户端选择方法。在基于优化的客户端选择方法中，通常考虑传输和处理时间，但是忽略客户端的数据特性(例如，数据分布的差异)。例如，Nishio等人在“Client Selection for Federated Learning with HeterogeneousResources in Mobile Edge(arXiv:804.08333v2,2018)”中公开了一种方法；在该公开中，估计分发和调度的更新和上载步骤所需的时间，并且基于估计的时间确定这些步骤的客户端选择。

关于模型更新，先前公开使用模型压缩或适配通信间隔。在先前的公开中，需要预先确定压缩的程度或间隔；然而，所确定的压缩程度或间隔可能不能捕获模型参数的最新动态。例如，等人在“Federated Learning:Strategies for ImprovingCommunication Efficiency(arXiv:1610.05492v1,2016)”中提出了一种降低上行链路通信成本的方法。在另一实例中，Wang等人在“Adaptive Federated Learning in ResourceConstrained Edge Computing Systems(IEEE Journal on Selected Areas InCommunications,2019)”中提出了一种控制算法，该算法确定局部更新和全局参数聚合之间的最佳折衷，以最小化给定资源预算下的损失函数。

发明内容

在第一方面中，提供了一种使用局部敏感散列来在联合机器学习中动态地选择客户端的计算机实现的方法。由联合机器学习系统中的服务器从联合机器学习系统中的相应客户端接收基于训练目标函数的相应梯度向量计算的相应局部敏感散列向量。该计算机实现的方法还包括由服务器基于相应局部敏感散列向量来将相应客户端分组到相应集群中。该计算机实现的方法还包括由服务器通过从相应集群中的每个集群选择至少一个客户端来选择相应客户端的子集，以用于进一步参与联合机器学习。在计算机实现的方法中，在联合机器学习中使用相应局部敏感散列向量来对传输和处理模型参数进行加速。