[发明专利]异步机制的隐私保护联邦学习方法、装置、介质及系统

说明书

本发明是针对现有异步联邦学习技术中通信开销过大、公平性与准确性相矛盾、本地模型梯度收集和全局模型梯度聚合更新过程中的梯度隐私泄露的问题，提出的一种支持异步机制的隐私保护联邦学习方法。该方法在设定时长内接收所有最新的和陈旧的第一模型密文，对这些模型按照落后第二模型轮次的程度赋予不同权重并加权聚合，避免了由于网络延迟或掉线导致等待时间增加的问题。同时需要先将模型使用掩码加密后再上传，不仅保护了客户端的隐私，还减小了传统隐私保护联邦学习方案中由于同态加密技术带来的巨大计算量和通信开销。

技术领域

本公开涉及信息安全技术领域，尤其涉及一种支持异步机制的隐私保护联邦学习方法、装置、介质及系统。

背景技术

首先，现有的联邦学习方法大都是同步的，即每轮训练中服务器需要等待所有客户端都完成训练后才能对本地模型进行聚合。然而客户端可能存在掉线或网络延迟等问题，导致训练时间增长，从而服务器和其他客户端等待时间增长。

其次，现有的异步联邦学习方法大都直接上传明文的模型更新至服务器，服务器或恶意的第三方可能会对该信息进行推断，从而导致客户端隐私的泄露。而现有的保护隐私的联邦学习方法如同态加密，虽然保护了隐私并且支持加法或乘法运算，但会生成大量的密文，导致巨大的通信开销，同时，生成密文和加密计算等操作也会导致大量的计算开销。而且，大多每收到一个客户端发来的模型更新就进行聚合并且将聚合后的模型发送给客户端，可能存在通信开销的问题，相比传统的同步联邦学习方案，该异步联邦学习方案增加了服务器发送全局模型的次数，从而增加了通信开销。

第三，同步的联邦学习可能能够降低客户端掉线对全局模型精度的影响，但对于多个设备在非常接近的时间内发送同一轮模型更新给服务器时，并不能使多个设备同步聚合；而使用分层机制的异步的联邦学习可能会出现全局模型经过多轮聚合后，第m层才第一次将模型上传至服务器，该模型相对于全局模型是有延时的，但在聚合时权重更高，该机制增加了公平性但可能会影响全局模型的准确度。因此现有技术的联邦学习方法存在着公平性和准确性的问题。

发明内容

有鉴于此，本申请的主要目的在于：针对现有异步联邦学习技术中通信开销过大、公平性与准确性相矛盾、本地模型梯度收集和全局模型梯度聚合更新过程中的梯度隐私泄露的问题，提出一种支持异步机制的隐私保护联邦学习方法。

基于上述目的，本发明提出如下的技术方案：

第一方面，本发明提出了一种异步机制的隐私保护联邦学习方法，所述方法包括下述步骤：

s100、在设置的时长内，在各客户端上对第一模型进行本地训练，对训练好的第一模型，使用该第一模型所在客户端对应的标识符生成的掩码进行加密，获得第一模型密文；

S200、在所述时长内使服务器获得第一模型密文、第一模型所在客户端对应的标识符以及第一模型所在客户端的时间戳；

S300、由服务器根据服务器的时间戳和获得的每一个客户端的时间戳的差值，计算获得的每一个客户端发送的第一模型密文对应权重，进而利用所述权重对第一模型密文进行加权聚合，得到第二模型密文；

S400、使客户端获得第二模型密文、服务器上计算的各个权重、当前服务器的时间戳以及当前服务器获得的标识符，并使服务器上的时间戳更新；

S500、使客户端时间戳更新为获得的服务器的时间戳，对当前每一个被服务器获得的标识符，获得其对应的掩码；将所述掩码与权重结合获得第二模型密文的密钥，从而解密得到第二模型；

S600、判断客户端上的第二模型与第一模型的差值是否满足收敛条件，若不满足，将第二模型作为客户端上新的第一模型，返回S100；

其中，每个客户端具有节点标识符掩码表，在节点标识符掩码表中，所述掩码基于标识符生成，不同客户端对应不同标识符。