[发明专利]一种去中心化联邦学习系统、方法、存储介质及计算设备

说明书

本发明公开了一种去中心化联邦学习系统、方法、存储介质及计算设备，该系统包括：模型共享平面、与模型共享平面连接的边缘服务器，以及与边缘服务器连接的参与训练的终端设备；本发明基于终端设备资源信息进行全局模型分割，平衡各终端设备进行本地模型训练的时间差异，且分割策略会随着终端设备本地资源进行调整，保证每一次都选择最早训练完成时间最小的方案，可提高训练吞吐量、降低通信成本，从而加快训练进程。

技术领域

本发明涉及联邦学习和边缘计算技术领域，具体涉及一种去中心化联邦学习系统、方法、存储介质及计算设备。

背景技术

机器学习(ML)是工业发展的关键技术驱动力之一，它使组织能够部署智能算法来优化效率和简化决策，随着物联网(IoT)的发展，各种设备数据作为驱动，为机器学习创造了十分有利的基础条件。但是物联网设备通常通信资源有限，这些数据全部上传到云服务器会占用大量的网络带宽，并且在浪费了终端设备出色的计算资源的同时也带来了隐私数据泄露的风险。

在应对需要并且可以并行处理大量数据的机器学习领域，联邦学习是一种新兴的方法。其目的在于保护大数据环境下模型学习中涉及的用户数据隐私。其详细工作步骤包括：1、发起者将全局模型下发到所有参与者；2、参与者将使用其私有数据训练得到的本地模型上传到云服务器中进行聚合，进行全局参数更新获得全局模型。

在典型的集中式联邦学习系统中的客户-服务器架构中，由于存在中央服务器在一些实际应用中难以获取或建立，并且在集中式服务器故障的情况下，来自客户端的所有本地更新都可能丢失。此外，如果受到攻击，攻击者可以控制接收到的本地模型更新，并根据模型参数推断训练数据。同时参与学习的终端设备往往是异构的，并且可能进行中难预测的高速运动，如汽车、无人机等，这些参与者会面临超出通信范围和信道衰落、网络连接不稳定等问题，传输不完整甚至错误的模型参数，影响其他设备参与联邦学习的积极性并且降低全局模型的准确率，增加联邦学习训练的完成时间。此外，B5G和6G网络的智能特性要求广泛而灵活的本地或跨区域合作的自组织，在现实应用场景中，服务器之间以分散的方式工作往往更为合理，并且服务器仍然可能受到损害，或者可能表现得自私，与其他服务器共享低质量的本地模型更新。这些通常称为模型/数据中毒攻击。

当前的训练模型大都十分复杂，如BERT(Bidirectional EncoderRepresentations from Transformers)模型，拥有大量参数的模型由于对内存有很高的要求，受限于终端设备有限的存储容量，会面临一个模型不能加载到单一计算终端内存中、训练时间长以及延迟高等问题。

发明内容

本发明的目的在于提供一种去中心化联邦学习系统、方法、存储介质及计算设备，根据终端设备的移动特性进行训练终端设备的选择，同时根据参与训练的终端设备资源容量将全局模型进行分割，使得每个边缘设备能够训练自身资源容量下最大的部分模型，利用模型聚合平面的监督和验证，实现无中心服务器的安全模型聚合。

为实现上述目的，本发明采用以下技术方案，

本发明第一方面提供一种去中心化联邦学习系统，包括：模型共享平面、与模型共享平面连接的边缘服务器，以及与边缘服务器连接的终端设备；

所述模型共享平面用于对所述边缘服务器上传的全局模型参数进行聚合优化，更新全局模型，并下发至所述边缘服务器；

所述边缘服务器用于确定参与训练的终端设备，将所述模型共享平面下发的全局模型进行分割得到部分模型，并下发至所述参与训练的终端设备，以及用于将所述参与训练的终端设备上传的部分模型参数进行聚合得到全局模型参数，并上传至所述模型共享平面；

所述终端设备用于对所述边缘服务器下发的部分模型进行训练得到部分模型参数，以及向所述边缘服务器发送运动信息、终端设备资源信息和训练后的部分模型参数。

进一步的，所述边缘服务器包括：数据平台和模型分割器；