[发明专利]联邦边缘学习环境下模型分割优化的隐私数据保护方法

说明书

本发明提出一种联邦边缘学习环境下模型分割优化的隐私数据保护方法。本发明结合了隐私安全保护和模型分割动态调整策略，在满足联邦边缘学习计算任务、数据隐私安全性和边缘设备能耗控制的条件下，使得联邦边缘学习效率最大化，并提供模型分割动态调整策略。首先根据模型反演找到满足数据隐私安全性的模型分割安全点，在满足数据安全性的条件下，找到一个边缘设备能耗和训练效率的模型分割平衡点。在平衡点处进行模型分割部署的初始化。然后在训练和推理的过程中根据边缘设备的资源分配需求，动态调整模型分割点，满足复杂环境下模型训练效率最大化以及资源动态调整的需求。

技术领域

本发明涉及联邦边缘学习、深度学习模型分割技术领域，具体是一种联邦边缘学习环境下模型分割优化的隐私数据保护方法。

背景技术

随着深度学习网络(DNN)在物联网领域中的广泛应用，如语音识别，计算机视觉，图像处理等。在深度学习任务的应用中，需要大量的数据来训练DNN模型，这需要庞大的存储系统以及足够的算力支持。传统的解决方案采用集中的训练方式，将边缘设备的数据传输到云服务器进行训练。这种方案在数据隐私保护方面有不可避免的缺陷。另一方面，数据上传到云也需要占用大量的通信资源，拉低了整个系统的性能。基于此，在边缘设备周围架设边缘服务器得以受到人们的重视。边缘服务器凭借其物理距离的优势，相比于云服务器有更加可靠的短距离通信传输，显著的降低了系统的通信成本。但是，数据在边缘服务器的隐私保护问题仍未得到解决。

联邦学习(Federal Learning,FL)的出现为隐私保护的解决提供了新的平台和机遇。FL是一种分布式学习范式，允许多个边缘设备协同训练DNN模型。在FL框架中每个边缘设备根据自己的数据集在本地进行模型训练，然后将本地模型参数上传至中央服务器，中央服务器负责将各个边缘设备的模型聚合，得到全局模型参数，并将全局模型再分发到边缘设备。重复上述训练过程，直至模型收敛。

随着越来越多的物联网设备参与到联邦学习中，近年来研究人员致力于优化FL范式，优化目标主要集中在提高模型精度和通信效率上。相比而言，对于提高FL的计算效率以及降低FL计算能耗的研究并不多。在经典FL框架下，资源受限的边缘设备承担了大部分的模型训练任务，资源充足的边缘服务器只是承担了计算量很小的聚合任务，这种不公平的任务分配策略很大程度上降低了FL的训练效率。

边缘学习(Edge Learning)提出利用网络边缘的资源执行计算任务，具有数据传输距离短、数据处理实时的优点。一些解决方案将联合学习和边缘计算相结合，以减少交换模型参数时的通信开销。它们要求边缘服务器对近端移动设备的模型进行聚合，并将聚合后的模型上传到云数据中心。然而，移动设备仍然需要消耗大量的本地计算资源来训练模型。这就引入了一个额外的第三方，边缘服务器，这可能会增加新的潜在的安全风险。

联邦边缘学习(Federal Edge Learning,FEEL)的出现弥补了FL在资源分配策略上的不足，也平衡了边缘学习隐私安全性的缺陷。在FEEL中，基于边缘计算的思想，将模型计算任务转移到私有的可信任的边缘服务器上，而不是在中央服务器上进行简单的模型聚合。边缘设备、边缘服务器和中央服务器构成了FEEL的三层架构。现有大部分FEEL策略为增强数据隐私的安全性，在模型计算通信的过程中增加了噪声或者进行了加密处理，但都同时提高了模型训练的复杂度，不利于模型训练的效率。再者，现有FEEL策略多继承了经典FL框架的特征，将整个DNN模型放了在边缘设备上，资源受限的边缘设备承担了大部分的模型训练任务。这种不公平的任务分配策略同样很大程度上降低了FEEL的训练效率。

为此，本发明提出的一种联邦边缘学习环境下模型分割优化的隐私数据保护方法，在保证数据隐私安全性的前提下，降低边缘设备端的模型计算能耗，提高模型计算效率。

发明内容

本发明针对现有方法的不足，提出了一种联邦边缘学习环境下模型分割优化的隐私数据保护方法。