[发明专利]使用局部敏感散列的联合机器学习

权利要求书

1.一种使用局部敏感散列以用于在联合机器学习中动态地选择客户端的计算机实现的方法，所述方法包括：

由联合机器学习系统中的服务器从所述联合机器学习系统中的相应客户端接收相应局部敏感散列向量，所述相应局部敏感散列向量基于训练目标函数的相应梯度向量而被计算；

由所述服务器基于所述相应局部敏感散列向量将所述相应客户端分组到相应集群中；

由所述服务器通过从所述相应集群中的每个集群挑选至少一个客户端来选择用于进一步参与所述联合机器学习的所述相应客户端的子集；以及

其中在所述联合机器学习中使用所述相应局部敏感散列向量来对传输和处理模型参数进行加速。

2.根据权利要求1所述的计算机实现的方法，还包括：

由所述服务器确定新轮次客户端选择是否被需要；

响应于确定所述新轮次客户端选择被需要，由所述服务器请求所述相应客户端发送相应新局部敏感散列向量，所述相应新局部敏感散列向量基于所述训练目标函数的相应当前梯度向量被计算；

由所述服务器基于所述相应新局部敏感散列向量将所述相应客户端重新分组到相应新集群中；以及

由所述服务器通过从所述相应新集群中的每个相应新集群挑选至少一个客户端，选择用于进一步参与所述联合机器学习的所述相应客户端的新子集。

3.根据权利要求2所述的计算机实现的方法，还包括：

响应于确定所述新轮次客户端选择不被需要，由所述服务器保持用于进一步参与所述联合机器学习的所述相应客户端的所述子集。

4.根据权利要求2所述的计算机实现的方法，其中响应于以下条件中的至少一个条件，所述服务器发起所述新轮次客户端选择：在所述相应客户端的所述子集中的大量所选择的客户端变得不可用，所述相应客户端的所述子集的成本已经被充分改变，所述模型参数朝向与先前训练周期充分不同的方向或以与先前训练周期充分不同的幅度被更新，以及已经经过预定时间量或预定迭代次数。

5.根据权利要求1所述的计算机实现的方法，还包括：

由所述服务器向所述相应客户端发送所述模型参数；

由所述相应客户端使用相应局部数据集和所述模型参数来计算所述相应梯度向量；

由所述相应客户端计算所述相应局部敏感散列向量；以及

由所述相应客户端向所述服务器发送所述相应局部敏感散列向量。

6.根据权利要求5所述的计算机实现的方法，还包括：

为了计算所述相应局部敏感散列向量，由所述相应客户端将所述相应梯度向量投影到低维度空间中。

7.根据权利要求6所述的计算机实现的方法，其中所述相应客户端开始于发送具有较低维度的所述相应局部敏感散列向量；其中，响应于确定所述相应局部敏感散列向量的更高准确度被需要，所述服务器请求所述相应客户端发送具有更高维度的所述相应局部敏感散列向量，直到所述服务器被满足于被包括在所述相应局部敏感散列向量中的接收到的信息。

8.一种使用局部敏感散列以用于在联合机器学习中动态地选择客户端的计算机实现的方法，所述方法包括：

由联合机器学习系统中的服务器从所述联合机器学习系统中的相应客户端接收相应局部敏感散列向量，所述相应局部敏感散列向量基于训练目标函数的相应梯度向量被计算；

由所述服务器通过解决优化问题以最小化针对所述相应客户端的子集的梯度发散来找到所述相应客户端的所述子集，其中所述相应局部敏感散列向量被用于解决所述优化问题；

由所述服务器选择用于进一步参与所述联合机器学习的所述相应客户端的所述子集；以及

其中在所述联合机器学习中使用所述相应局部敏感散列向量来加速传输和处理模型参数。