[发明专利]联邦学习的方法、装置和芯片

说明书

本申请提供了联邦学习的方法、装置和芯片。涉及人工智能领域。该方法适于处理参数服从分布的机器学习模型。该方法包括：第二节点向至少一个第一节点发送联邦模型的参数的先验分布。在收到联邦模型的参数的先验分布之后，该至少一个第一节点根据联邦模型的参数的先验分布和第一节点的本地训练数据，训练得到第一节点的本地模型的参数的后验分布。本地训练结束后，该至少一个第一节点向第二节点反馈本地模型的参数的后验分布，以便第二节点根据该至少一个第一节点的本地模型的参数的后验分布，对联邦模型的参数的先验分布进行更新。通过节点之间交互先验分布和后验分布，实现了参数服从分布的机器学习模型的联邦学习，从而有助于减少联邦学习的训练时间和节点之间的通信开销。

技术领域

本申请涉及人工智能领域，具体涉及一种联邦学习的方法、装置和芯片。

背景技术

随着用户对个人隐私数据的保护意愿日益提升，数据拥有者之间的用户数据无法互通，形成了大大小小的“数据孤岛”。“数据孤岛”对基于海量数据的人工智能(artificialintelligence，AI)提出了新的挑战，即在没有权限获得足够多的训练数据的情况下，如何对机器学习模型进行训练？

针对“数据孤岛”的存在，联邦学习(federated learning)被提出。但是，传统的联邦学习仅能用于训练参数为固定值的机器学习模型，导致联邦学习的训练时间较长、通信开销较大。

发明内容

本申请提供一种联邦学习的方法和装置，能够支持参数服从分布的机器学习模型的联邦学习，从而减少联邦学习的训练时间和通信开销。

第一方面，提供一种联邦学习的方法，包括：第一节点从第二节点接收联邦模型的参数的先验分布，其中所述联邦模型为参数服从分布的机器学习模型；所述第一节点根据所述联邦模型的参数的先验分布和所述第一节点的本地训练数据，训练得到所述第一节点的本地模型的参数的后验分布。

通过在节点之间交互模型参数的先验分布和后验分布，实现了参数服从分布的机器学习模型的联邦学习。参数服从分布的机器学习模型能够预先给出参数的各种取值的可能性，而参数的各种取值的可能性能够表征机器学习模型的各种可能的改进方向之间的优劣。因此，对参数服从分布的机器学习模型进行联邦学习，有助于参与联邦学习的节点找到机器学习模型的较优的改进方向，从而减少联邦学习的训练时间和节点之间的通信开销。

结合第一方面，在第一方面的某些实现方式中，所述方法还包括：所述第一节点根据所述本地模型的参数的后验分布，确定本地模型的不确定度；当所述本地模型的不确定度满足第一预设条件时，所述第一节点向所述第二节点发送所述本地模型的参数的后验分布。

本地模型的不确定度能够很好地衡量本地训练数据与联邦模型的匹配度，进而可以表明第一节点对于联邦学习的重要性。因此，以本地模型的不确定度作为衡量第一节点是否向第二节点反馈训练结果的指标，能够使得联邦模型的训练过程更加可控。例如，当希望联邦模型快速收敛，则可以禁止本地模型的不确定度较高的第一节点反馈本地训练结果；又如，当希望提升联邦模型的容量时，则可以要求本地模型的不确定度较高的第一节点反馈本地训练结果。此外，不向第二节点发送不确定度不满足第一预设条件的本地模型，可以降低节点之间的通信开销。

结合第一方面，在第一方面的某些实现方式中，所述本地模型的不确定度是基于以下信息中的至少一种度量的：所述本地模型的参数的后验分布的方差，所述本地模型的参数的后验分布的收敛速度，或者所述本地模型的参数的后验分布的推断准确率。

结合第一方面，在第一方面的某些实现方式中，所述方法还包括：所述第一节点根据所述本地模型的第一参数的后验分布，确定所述第一参数的不确定度，其中所述本地模型的参数包括至少一个参数，所述第一参数为所述至少一个参数中的任意一个；当所述第一参数的不确定度满足第二预设条件时，所述第一节点向所述第二节点发送所述第一参数的后验分布。