[发明专利]边缘计算中基于分层张量分解的联邦学习方法

说明书

本发明涉及一种边缘计算中基于分层张量分解的联邦学习方法。步骤S1：在云端设计有效的深度神经网络共享模型；步骤S2：根据分层张量分解方法对设计的共享模型进行压缩得到分层共享模型；步骤S3：设计分层共享模型对应的正向传播算法和反向传播算法；步骤S4：在云端对分层共享模型进行初始化并下发至参与训练的边缘节点；步骤S5：参与训练的边缘节点利用本地数据集，并根据S3设计的算法对S2得到的分层共享模型进行学习。步骤S6：在云端通过平均聚合的方式对边缘模型进行聚合。本发明在保护用户隐私的前提下实现了共享模型的分布式训练，减少分布式训练时对网络带宽的需求，降低了边缘节点的通信能耗。

技术领域

本发明涉及一种边缘计算中基于分层张量分解的联邦学习方法

背景技术

随着物联网技术的飞速发展及其在智能工厂、工业自动化、智能制造等工业领域的广泛应 用，工业物联网技术受到了学术界和工业界的广泛关注。在工业物联网中，各种连接设备生成 的数据呈爆炸式增长。然而，将大量数据直接传输到远程云端平台进行进一步的处理和分析是 不切实际的，这可能会导致严重的网络拥塞和无法忍受的传输延迟。近年来，随着边缘计算技 术的兴起，传感器、工厂网关等边缘设备(节点)具有存储、处理和分析本地数据的能力。此外， 边缘设备还可以与远程云端协作，执行大规模、复杂的任务。

与此同时，近年来，深度学习在许多应用中也取得了巨大的成功，尤其是在大数据分析和 机器学习方面。深度学习模型使用多层体系结构从大量原始数据中自动学习固有的特性。然而， 在边缘设备上训练深度学习模型存在以下主要缺点：一方面，由于人们对数据安全和用户隐私 的意识越来越强，将每个边缘设备上的本地数据集上传到云端服务器上存在着数据泄露的风险。 例如在大多数行业，不同的公司甚至同一公司的不同部门之间都禁止共享数据，因此这在现实 生活中并不可行。另一方面，由于边缘设备的计算能力和存储能力有限，在这些低端设备上进 行模型学习非常困难。这是因为深度学习模型的参数非常大，训练这样的模型通常需要昂贵的 硬件资源。

为了解决上述的数据安全问题，谷歌最近提出了联邦学习概念，通过将云端计算下沉到各 个边缘节点，从而避免了传输用户数据带来的数据泄露的风险。然而，由于多节点上的分布式 训练需要梯度交换，因此联邦学习需要较大的通信带宽。为了克服联合学习中的交流瓶颈，人 们进行了许多研究。这些方法可以分为三类:第一类是梯度稀疏化方法，根据预定义的梯度阈 值或以固定的稀疏率只选择一小部分参数进行更新。第二类方法是通过梯度量化将梯度量化到 低精度值来降低通信带宽。例如，随机梯度量化方法中对每个参数只取2bits。最后一种方法是 通过降低通信频率来降低通信带宽。例如近似同步并行算法中，只有当参数变化超过预定义的 阈值时才执行聚合。

与上述工作不同的是，本发明从权值张量的低秩表示的角度来降低联邦学习中的通信带宽。 针对分布式训练中的深度卷积计算模型，提出了一种基于分层分解方法，在压缩效率和分类精 度之间取得了较好的平衡。该方案的优点在于能够利用卷积网络对应于广义分层张量分解的特 性，其中卷积和输出层的网络权值可以直接映射到各自的分层张量分解的参数。一方面，由于 神经网络存在大量的冗余信息，浪费了网络传输的带宽资源和设备的存储资源，本方案利用分 层张量分解将模型参数从高阶张量空间压缩为低维空间，降低了边缘节点分布式训练的带宽消 耗和存储需求。另一方面本方案提出了一种基于梯度下降的分层张量分解模型的反向传播更新 算法，在边缘节点上训练卷积计算模型的参数。该方法采用分层方式直接计算低维参数的梯度， 减少了对边缘设备计算力的消耗。因此,在边缘计算中，利用张量分解方法进行模型压缩从而减 少系统的能量损耗具有潜在的优势。

发明内容

本发明的目的在于提供一种边缘计算中基于分层张量分解的联邦学习方法，在保护用户隐 私的前提下实现了多用户的数据共享，减少分布式训练时对网络带宽的需求，降低了边缘节点 的通信能耗。

为实现上述目的，本发明的技术方案是：一种边缘计算中基于分层张量分解的联邦学习方 法，包括如下步骤：

步骤S1、在云端设计深度神经网络共享模型；