[发明专利]一种联合学习模型训练方法及系统

说明书

本发明公开了一种联合学习模型训练方法及系统，所述方法包括：(1)多个客户端分别进行局部分类模型的训练，并将第一层权重发送至服务器；(2)服务器根据各局部分类模型的该层权重，得到联邦模型相应层的权重，并返回至所述多个客户端；(3)各个客户端基于联邦模型的该层权重，对相应局部分类模型进行训练，并将下一层权重发送至服务器；重复步骤(2)‑(3)，直至客户端得到最后一层权重发送至服务器；(4)服务器根据各局部分类模型的最后一层权重，得到联邦模型的最后一层权重，发送至所述多个客户端。本发明可以在不共享数据的情况下，经过传参实现数据的安全，隐私的保护，保密性增强，通信负担减小，传输效率提高。

技术领域

本发明属于信息分类技术领域，尤其涉及一种联合学习模型训练方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

移动电话、传感器网络中的传感器或车辆等边缘设备可以访问大量数据，手机、电脑以及iPad等个人客户端分别通过各种新闻软件，如头条、网易以及天涯等收集新闻，这些都会产生大量数据，但是，由于数据隐私问题，从数据中心的边缘设备/客户端收集所有数据并进行集中处理是不切实际的，也不能在不同用户的客户端间进行交换。

联合学习方法能够解决这一问题，其主要流程包括：多个客户端分别基于本地训练数据进行模型训练，得到各自的局部模型并发送至中心服务器，中心服务器会聚合这些局部模型，得到更新后的全局模型，然后将全局模型发送给所有客户端，客户端利用它们本地的测试数据进行测试。保证了数据只保留在本地客户端，而未上传至中央服务器，解决了用户数据的隐私问题。并且，为了进一步解决隐私问题，提出了从单中心、多中心再到去中心的联合学习方法，以及以下标准聚集方法，然而都有不同程度的不足。FedAvg这一算法首先在《Communication-Efficient Learningof Deep Networks from DecentralizedData》中提出，发表于AISTATS 2017。其中局部模型的参数按元素平均，权重与客户数据集的大小成比例。FedAvg的一个缺点是权重的坐标平均可能对平均模型的性能产生严重的不利影响，并显著增加通信负担。这些方法在数据隐私、通信效率以及模型结构等方面都有严重的不足。

发明内容

为克服上述现有技术的不足，本发明提供了一种联合学习模型训练方法及系统。可以在不共享数据的情况下，经过传参实现数据的安全，隐私的保护，保密性增强，通信负担减小，传输效率提高。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

一种联合学习模型训练方法，包括以下步骤：

(1)多个客户端分别进行局部分类模型的训练，并将第一层权重发送至服务器；

(2)服务器根据各局部分类模型的该层权重，得到联邦模型相应层的权重，并返回至所述多个客户端；

(3)各个客户端基于联邦模型的该层权重，对相应局部分类模型进行训练，并将下一层权重发送至服务器；重复步骤(2)-(3)，直至客户端得到最后一层权重发送至服务器；

(4)服务器根据各局部分类模型的最后一层权重，得到联邦模型的最后一层权重，发送至所述多个客户端。

进一步地，所述步骤(2)中，服务器对各局部分类模型的该层权重，依次进行置换匹配和加权平均，得到联邦模型相应层的权重；

其中，所述置换匹配包括：以同层的任意一个权重矩阵为标准，通过交换某行或某列，使得同层的这些权重矩阵具有相似的数据分布。

进一步地，所述步骤(4)中，以各个客户端本地数据中各类型文本所占比例与该客户端最后一层的权重乘积之和为权重，对各个客户端相应的最后一层权重进行加权，得到联邦模型的最后一层权重。