[发明专利]基于top-k的通信高效联邦学习的异构软件缺陷预测算法

权利要求书

1.基于top-k的通信高效联邦学习的异构软件缺陷预测算法，其特征在于，包括以下步骤：

步骤a、所有参与方将全局参数进行解码，利用解码后的全局模型梯度参数与缺陷数据基于胶囊神经网络进行本地训练，更新本地模型；

步骤b、各参与方利用高斯差分隐私对本地模型梯度参数进行加密；

步骤c、各参与方将加密后的梯度参数进行稀疏二值压缩形成稀疏梯度；

步骤d、计算稀疏梯度非零元素之间的相对距离进行Golomb编码并发送到服务器端进行聚合；

步骤e、服务器端将接收到的数据进行解码，并对其进行聚合，对聚合后参数进行稀疏二值压缩和Golomb编码并发送回每个参与方；

步骤f、当通信次数到达最大通信轮次或本地胶囊神经网络模型已经收敛，输出预测结果。

2.根据权利要求1所述的基于top-k的通信高效联邦学习的异构软件缺陷预测算法，其特征在于，步骤a中所述参与方将全局参数进行解码，利用解码后的全局模型梯度参数与缺陷数据基于胶囊神经网络进行本地训练，更新本地模型，具体为：

在本具体实施方式中，本地训练采用胶囊神经网络，胶囊神经网络第一层采用普通的卷积层，ReLU激活。该层用于提取特征，然后将其用作主胶囊的输入。第二层为主胶囊层，squash函数激活。第三层是路由胶囊，动态路由算法工作在这一层。

将数据输入进卷积层进行特征提取，ReLU激活后输入进胶囊层。假设每个胶囊输入为(s₁,s₂,...,s_n)，s_i表示第i个胶囊的总体输入，v＝(v₁,v₂,...,v_m)为胶囊输出，v_i是第i个胶囊输出，通过非线性squash激活函数得到其网络输出为：

3.根据权利要求1所述的基于top-k的通信高效联邦学习的异构软件缺陷预测算法，其特征在于，在步骤b中所述各参与方利用高斯差分隐私对本地模型梯度参数进行加密，具体为：

对于本地模型梯度参数D，和一个任意域的函数f，和一个随机化机制实现本地模型参数的高斯差分隐私：

越小的ε表示更强的隐私保护水平，表示破坏差分隐私的概率。通过添加随机噪声来模糊f(·)：

其中，I_M是单位矩阵，N(ε,σ²I_M)是均值ε和方差σ²的多元高斯噪声，所需的噪声方差为：

4.根据权利要求1所述的基于top-k的通信高效联邦学习的异构软件缺陷预测算法，其特征在于，在步骤c各参与方将加密后的梯度参数进行稀疏二值压缩形成稀疏梯度，具体为：

对于各参与方加密后的梯度参数Δω_i，首先将除了稀疏率p最大和最小的权重更新参数之外的所有值设置为零。然后在本地计算剩余正权重更新参数和负权重更新参数的平均值：

μ⁺＝mean(top_p％(Δω_i))

μ^-＝mean(top_p％(-Δω_i))

如果正平均值μ⁺大于负平均值μ^-的绝对值，就所有负值设置为零，将所有正值设置为正均值，反之亦然。在每一轮通信完成后，剩余值积累为：

ω_t为权重更新原始值，为稀疏二值后的权重更新。

5.根据权利要求1所述的基于top-k的通信高效联邦学习的异构软件缺陷预测算法，其特征在于，步骤d计算稀疏梯度非零元素之间的相对距离进行Golomb编码并发送到服务器端进行聚合，具体为：

首先计算非零元素之间的相对距离d,之后计算：

编码结果为：

最后将Golomb编码发送到服务器端。

6.根据权利要求1所述的基于top-k的通信高效联邦学习的异构软件缺陷预测算法，其特征在于，步骤e服务器端将接收到的数据进行解码，并对其进行聚合，对聚合后参数进行稀疏二值压缩和Golomb编码并发送回每个参与方，具体为：

首先，参与方上传参数Δω_i。服务器方对参数进行解码：

Δω_i＝decode(Δω_i)

之后计算模型聚合权重：

通过稀疏二值压缩算法也需要拓展到服务器端向参与方端发送聚合模型参数。

根据sparse binary compression(SBC)算法，首先定义SBC_k:Rⁿ→Rⁿ,Δω→Δω，将(展平化)权重更新Δω映射到稀疏化和二元化权重更新Δω的压缩运算符。对于本地权重更新SBC更新规则可以写成：

所有客户端从一个空的剩余值开始。在最坏的情况下，当从客户端发送到服务器的参数总是稀疏的，服务器发送到客户端的参数Δω^(t+1)中的非零元素数量随着参与的客户端数量增加呈线性增长。如果参与率超过了逆稀疏率1/p，更新参数Δω^(t+1)就会变得密集。

为了避免这种问题，我们采用如下公式进行压缩：

客户端剩余值更新分别为：

最后将参数进行Golomb编码，并发送给参与方。