[发明专利]边缘计算中基于分层张量分解的联邦学习方法

权利要求书

1.一种边缘计算中基于分层张量分解的联邦学习方法，其特征在于，包括如下步骤：

步骤S1、在云端设计深度神经网络共享模型；

步骤S2、根据分层张量分解方法对步骤S1设计的深度神经网络共享模型进行压缩得到分层共享模型；

步骤S3、设计分层共享模型对应的正向传播算法和反向传播算法；

步骤S4、在云端对分层共享模型进行初始化并下发至参与训练的边缘节点；

步骤S5、参与训练的边缘节点利用本地数据集，并根据步骤S3设计的正向传播算法和反向传播算法对步骤S2得到的分层共享模型进行学习；

步骤S6、在云端通过平均聚合的方式对边缘模型进行聚合；

所述步骤S2的具体实现过程如下：

步骤S21、对神经网络的超参θ≡{w^(q)；b^(q)|q∈{1,2,3}}中进行分层张量分解；假设该张量有d个模M＝{1,2,…,d}，其对应的满秩二叉树为其中满秩二叉树中的每个节点用模M＝{1,2,…,d}的子集表示；设定二叉树从根节点到叶节点的层数l为0到[log₂ d]，则第l层的节点代表的模个数为并且该层所有节点代表的模的集合为M的全集；

步骤S22、根据步骤S21所得到的满秩二叉树中各节点所表示的模对张量进行模展开后进行SVD分解，取其左奇异值的前k_t列作为该节点的U_t，其中k_t满足以下关系：

步骤S23、定义满秩二叉树的任意内部节点为t，其对应的两个子节点分别为t_l和t_r，则t，t_l和t_r三个节点上的U_t满足以下关系：

其中为节点t上的传输矩阵；因此，能够被表示为分层分解的形式：

步骤S24、利用分层张量分解方法对深度神经网络共享模型进行压缩得到分层共享模型：

此时神经网络的学习参数为

所述步骤S3的具体实现过程如下：

步骤S31、利用训练集数据作为神经网络的输入，根据分层共享模型得到神经网络的输出作为预测值；

步骤S32、设计节点k上神经网络的损失函数

其中为节点k上数据集n_k中的样本；

步骤S33、通过梯度下降法使得步骤S32中设计的损失函数最小化；

若l为输出层，则

ε^(l)＝(f(z^(l))-y)f'(z^(l))

若l为卷积层，则

ε^(l)＝up(ε^(l+1))w⁽¹⁾f'(z^(l))

若l为池化层，则

ε^(l)＝up(ε^(l+1))w⁽²⁾f'(z^(l))

若l为全连接层，则

ε^(l)＝ε^(l+1)w⁽³⁾f'(z^(l))

若l为分层张量表示，则

假设g(x)是关于x的函数，则g(x)对x求导可表示为因此上述表达式中ε^(l)是输出层对l层的梯度，z^(l)为l层的输出，f(·)为sigmoid激活函数，A为克罗内克积积的梯度；

假设则

步骤S34、通过步骤S33中得到的梯度采用η的学习率对模型进行更新