[发明专利]通信高效联合学习

说明书

本申请涉及通信高效联合学习。本公开提供一种用于在诸如例如联合学习框架的机器学习框架内传输模型更新的有效率通信技术，该联合学习框架中在大量客户端上分布的训练数据上训练高品质集中化模型，每个客户端具有不可靠的网络连接和低计算能力。在一个示例联合学习设置下，在多轮中的每一轮中，每个客户端独立地基于其本地数据来更新模型并且将更新的模型传送回到服务器，其中所有客户端侧更新被用来更新全局模型。本公开提供降低通信成本的系统和方法。特别地，本公开提供至少：结构化更新方案，其中模型更新被约束为小并且为概略的更新方案，其中，模型更新在发送到服务器之前被压缩。

技术领域

本公开大体涉及机器学习。更具体地，本公开涉及通信高效联合学习。

背景技术

随着数据集越来越大，模型越来越复杂，机器学习越来越多地需要在多台机器上分布模型参数的优化。现有机器学习算法通常仅适用于受控环境(诸如数据中心)，其中数据在机器间适当地分布，并且高吞吐量光纤网络可用。

发明内容

本公开的实施例的方面和优点将部分地在下文的描述中阐述，或者可以从说明书中学习，或者可以通过实践实施例而学习。

本公开的一个示例方面针对于一种用于通信高效机器学习的计算机实现的方法。该方法包括：由客户端计算设备获得机器学习模型的参数集的全局值。该方法包括：由客户端计算设备至少部分地基于本地数据集来训练机器学习模型以获得更新矩阵，更新矩阵描述机器学习模型的参数集的经更新值。更新矩阵被约束为具有预定义的结构。本地数据集由客户端计算设备本地存储。该方法包括：由客户端计算设备将描述更新矩阵的信息传送到服务器计算设备。

本公开的另一示例方面涉及一种客户端计算设备。该客户端设备包括至少一个处理器；以及，存储指令的至少一个非暂时计算机可读介质，该指令在由至少一个处理器执行时使得客户端计算设备执行操作。该操作包括获得机器学习模型的参数集的全局值。该操作包括：至少部分地基于本地数据集来训练机器学习模型以获得更新矩阵，该更新矩阵描述机器学习模型的参数集的经更新值。本地数据集由客户端计算设备本地存储。该操作包括编码更新矩阵以获得经编码更新。该操作包括将经编码更新传送到服务器计算设备。

本公开的另一示例方面涉及存储指令的至少一个非暂时性计算机可读介质，该指令在由客户端计算设备执行时使得客户端计算设备实现操作。该操作包括获得机器学习模型的参数集的全局值。该操作包括至少部分地基于本地数据集来训练机器学习模型以获得更新矩阵，该更新矩阵描述机器学习模型的参数集的经更新值。本地数据集由客户端计算设备本地存储。更新矩阵被约束为低秩矩阵和稀疏矩阵中的至少一种。该操作包括编码更新矩阵以获得经编码更新。操作包括将经编码更新传送到服务器计算设备。

本公开的其它方面涉及各种系统、装置、非暂时性计算机可读介质、用户界面、和电子设备。

在本说明书中描述的主题的特定实施例可以被实现以便达到以下技术效果中的一个或多个。例如，在各个实施方式中，可以通过在多个客户端计算设备(例如，用户移动设备)上本地训练机器学习模型来实现有效率处理，从而充分利用多个设备的计算能力。此外，由客户端计算设备基于本地数据集来训练机器学习模型，可以提高训练过程的安全性。这是因为，例如，模型更新的信息相较于数据本身较不敏感。隐私敏感的用户数据保留在用户的计算设备上，并且不会上传到服务器。相反，只有较不敏感的模型更新被传输。

此外，由于互联网连接的不对称性质，从客户端到服务器的上行链路可能比从服务器到客户端的下行链路更慢，使得每个客户端设备传输完整的、无限制模型可能是没有效率的。然而，通过根据各个实施例(例如通过将更新矩阵约束为低秩矩阵和稀疏矩阵中的至少一个)来限制更新矩阵具有预定义的结构，达到了机器学习框架内的更有效率通信，例如从网络的角度、从客户端设备工作负荷/资源的角度、和/或从试图执行尽可能多轮的学习/尽可能快更新的角度。