[发明专利]一种基于模型陈旧性与用户参与度感知的联邦学习算法

说明书

本发明公开了一种基于模型陈旧性与用户参与度感知的联邦学习算法，涉及联邦学习技术领域。该算法将参与任务的客户端分成不同的性能层级，每次选取客户端时选取同一性能层级的客户端，实现了联邦学习由随机选取客户端到有选择地选取客户端的转变，提高了联邦学习的通信效率；使用一个添加了全局模型近端项的目标函数作为各客户端训练本地模型的目标函数，改善了全局模型偏向某一客户端本地模型的问题；通过设置一个自适应超参数以及考虑客户端的本地模型对云中心服务器上最新的全局模型的滞后程度，提出了一种基于模型陈旧性与用户参与度感知相结合的更新方式，来对全局模型进行动态调整，解决了联邦学习中全局模型偏向某一客户端本地模型的问题。

技术领域

本发明涉及联邦学习技术领域，具体涉及一种基于模型陈旧性与用户参与度感知的联邦学习算法。

背景技术

现代移动和物联网设备(如智能手机、智能穿戴设备、智能家居设备)每天都产生大量数据，这为构建复杂的机器学习模型来解决具有挑战性的人工智能问题提供了机会。然而，这些包含个人敏感信息的数据却极容易泄露，国际社会上对信息安全、个人隐私的保护问题也愈加重视，各种相关的法案随之相继颁布，对私人数据的管理、监督、保护更加全面化、严格化、密集化。各大公司对各自的数据也越来越重视，将其作为资产而不再拿出来分享，这就造成了数据孤岛的现象。此外，受限于现实生活中有限的无线网络通信资源，将大量的训练数据从边缘设备传输到云中心服务器是一个巨大的挑战。

种种原因都使得在本地存储数据，同时将计算推到边缘变得越来越有吸引力，联邦学习由此应运而生。图1即为联邦学习更新步骤的示意图。参考图1所示，联邦学习不要求各客户端共享属于他们的私有数据，而是让每个客户端都在本地训练模型，并将训练后得到的模型传递给云中心服务器；然后，云中心服务器将这些经训练后得到的模型聚合为一个全局模型；最后，各客户端从云中心服务器上下载聚合后的全局模型，并不断重复以上几个过程，由此完成各类人工智能任务。

联邦优化算法是联邦学习的核心。目前广泛采用的联邦优化算法是联邦平均算法，其核心思想是每次选取批量客户端并让其在本地执行多次随机梯度下降算法，来降低客户端与云中心服务器之间的通信频率，以达到降低通信成本的目的。但该算法会导致全局模型偏向某一客户端本地模型的问题，且对通信效率的提升并不明显。此外，联邦学习环境中具有的系统异构性--每个设备的存储、计算和通信能力可能会因硬件(CPU、内存)、网络连接(3G、4G、5G、WIFI)和电源(电池电量)的不同而有所不同，和数据异构性--每个客户端的数据量不同、数据是非独立同分(Non_IID)的，会导致云中心服务器与客户端之间的每轮通信，必然受到参与该轮通信的客户端中需要通信最长时间的客户端的影响，从而使得联邦学习的通信效率受到极大限制，无法适用于实际场景。

由此，一些研究者开始使用异步联邦学习算法：最先完成本地训练得到本地模型的客户端，无需等待那些尚未完成此次本地训练的客户端，就可以直接发送其本地模型给云中心服务器，云中心服务器接收该客户端的本地模型后便进行聚合，然后立即将聚合后得到的全局模型再发送给该客户端，继而该客户端在接收到新的全局模型后也立刻开始进行新一轮的本地训练，如此持续迭代，最终完成全局模型的更新。虽然该方法实现了客户端与云中心服务器的无等待更新，但是它们之间的通信频率也必然大大增加，对于资源的耗费也更多。而且，此方法未能考虑不同客户端之间的通信差异性所带来的全局模型偏向某一客户端的本地模型，以及需要更长时间完成通信的客户端因其自身的模型陈旧性而影响全局模型的问题。

发明内容

针对现有技术存在的问题，本发明提供了一种基于模型陈旧性与用户参与度感知的联邦学习算法。

本发明的技术方案是：

一种基于模型陈旧性与用户参与度感知的联邦学习算法，该算法包括如下步骤：

步骤1：云中心服务器将参与任务的各客户端划分成不同的性能层级；