[发明专利]一种面向k-means聚类算法的联邦学习方法

说明书

本发明公开了一种面向k‑means聚类算法的联邦学习方法，该方法包括纵向联邦学习与横向联邦学习。横向联邦学习，包括如下步骤：1)初始化K个聚类，不同参与者将本地样本分给距离该样本最近的聚类2)对每个聚类，计算该聚类的新的聚类中心。3)如果聚类中心发生变化，那么回到步骤1)；纵向联邦学习，包括如下步骤：1)L个参与者分别在本地运行k‑means聚类算法得到T个聚类且做交集得到新的T^L个聚类或AP聚类算法得到T_i个聚类且做交集得到新的个聚类。2)将新的个聚类中心作为输入样本，初始化K个聚类。3)将每个样本分给距离它最近的聚类。4)对每个聚类，计算该类的新的聚类中心。5)如果聚类中心发生变化，那么回到步骤3)。

技术领域

本发明涉及联邦学习领域，尤其涉及一种面向k-means聚类算法的联邦学习方法。

背景技术

联邦学习又称为集成学习，是一种在多个分散的设备或存储有数据的服务器上共同训练模型的机器学习技术。与传统的中心化学习不同，该方式不需要将数据合并在一起，因此数据之间是独立存在的。

联邦学习的概念首先于2017年由Google所提出(Brendan McMahan,Eider Moore,Daniel Ramage,SethHampson,and Blaise Aguera y Arcas.Communication-efficientlearning of deep networks from decentralizeddata.In Aarti Singh and JerryZhu,editors,Proceedingsof the 20th International Conference on ArtificialIntelli-gence and Statistics,volume 54,pages 1273–1282,FortLauderdale,FL,USA,20–22 Apr 2017.PMLR.)，现如今已经得到了巨大的发展，应用场景也越来越广泛。根据数据划分方式的不同，其主要分为纵向联邦学习和横向联邦学习。在纵向联邦学习中，研究人员将神经网络的训练过程分布在多个参与者上，迭代地将本地的训练模型聚合为一个联合的全局模型。在这个过程中，主要存在两种角色：中心服务器以及多个参与者。在训练开始阶段，中心服务器将模型初始化并将其发送给所有参与者。在每次迭代过程中，每个参与者利用本地数据训练接收到的模型，并将训练梯度发送给中心服务器。中心服务器聚合接收到的梯度来更新全局模型。得益于这种传输中间结果而不是原始数据的方式，联邦学习具有以下优势：(1)保护隐私：训练过程中，数据仍保存在本地设备上；(2)低延迟：更新的模型可用于用户在设备上预测；(3)减轻计算负担：训练过程分布在多个设备上而不用一个设备承担。

尽管联邦学习已经成为当前科学领域的研究中心之一，将聚类算法应用于联邦学习场景中仍然有所缺失。

发明内容

本发明的目的是针对现有技术的不足，提供一种面向k-means聚类算法的联邦学习方法，该方法利用安全聚合算法，使得经典聚类算法k-means可应用于横向联邦学习与纵向联邦学习领域。并且，本发明中的算法使得不同参与者之间的通信量与数据库大小无关，其算法复杂度为O(t)，t是一个常数。从而在大规模的应用场景中，本发明也同样具有实用价值。

本发明的目的是通过以下技术方案来实现的：一种面向k-means聚类算法的联邦学习方法，该方法主要包括两个部分，纵向联邦学习与横向联邦学习；

所述横向联邦学习包括以下步骤：

(1.1)初始化K个聚类中心，并将这K个聚类中心发送给所有参与者：每个参与者都是具有相同特征、不同样本的数据库，所有参与者共同构成总数据库；所述样本指该数据库中的一条数据。

(1.2)分别计算所述所有参与者的每一个样本与聚类中心的欧几里得距离的平方，找到每个样本欧几里得距离平方最小的聚类中心，并将该样本分到距离该聚类中心所对应的聚类；