[发明专利]基于top-k的通信高效联邦学习的异构软件缺陷预测算法

说明书

本发明为基于top‑k的通信高效联邦学习的异构软件缺陷预测算法；该方法步骤如下：所有参与方将收到的全局参数进行解码，利用解码后的全局模型梯度参数与各自缺陷数据基于胶囊神经网络(CapsNet)进行本地训练，更新本地模型；各参与方利用高斯差分隐私对本地模型梯度参数进行加密；加密后的梯度参数进行稀疏二值压缩；将非零元素之间的相对距离进行Golomb编码发送到服务器端进行聚合；服务器端将接收到的数据进行解码，并对数据进行聚合；服务器端对聚合后参数进行稀疏二值压缩和Golomb编码并发送回每个参与方。本发明可以在模型预测性能可接受情况下，有效减少通信比特量并提高通信效率。

技术领域

本发明基于top-k的通信高效联邦学习的异构软件缺陷预测算法，属于软件工程领域。

背景技术

随着软件系统规模越来越大，其复杂程度也不断增加。软件系统发生故障的可能性越来越大，因此，异构软件缺陷预测应运而生。异构软件缺陷预测就是利用不同度量元的异构缺陷数据库，构造异构软件缺陷预测模型，使开发人员从公开可用的缺陷数据集中构建具有更多缺陷的预测模型中受益，减少软件缺陷的发生，从而降低软件开发成本。

异构缺陷预测的难点在于大量的缺陷数据受隐私保护，各自保存在自己手中，不能随意获取，进而形成了数据孤岛。联邦学习作为一种新的机器学习范式，在保护隐私的情况下，缓解数据孤岛问题具有巨大的优势。联邦学习利用多个参与方的数据集，每个参与方利用机器学习方法训练各自私有模型，又通过隐私保护技术融合多方模型数据信息，协同构建全局模型来提升单个模型的预测性能。

然而在基于联邦学习的异构软件缺陷预测实现中，在每一个全局模型训练轮次中，每个参与方都需要给服务器端发送完整的模型参数进行更新。由于异构软件缺陷预测模型通常有数百万个参数，给服务器端发送如此多的参数会导致巨大的通信开销，并且随着参与方数量和通信迭代轮次的增加，通信开销还会进一步增加。为了降低通信开销，提出了基于top-k的通信高效联邦学习的异构软件缺陷预测方法，该方法可以在保护数据隐私的前提下，对各个参与方进行稀疏二值压缩，提高通信效率，降低联邦学习的通信比特量。

发明内容

本发明提供了top-k的通信高效联邦学习的异构软件缺陷预测算法；对于所有参与方将收到的全局参数进行解码，利用解码后的全局模型梯度参数与各自缺陷数据基于胶囊神经网络(CapsNet)进行本地训练，更新本地模型；各参与方利用高斯差分隐私对本地模型梯度参数进行加密；加密后的梯度参数进行稀疏二值压缩；将非零元素之间的相对距离进行Golomb编码发送到服务器端进行聚合；服务器端将接收到的数据进行解码，并对数据进行聚合；服务器端对聚合后参数进行稀疏二值压缩和Golomb编码并发送回每个参与方。当到达最大通信轮次或本地胶囊神经网络模型已经收敛，输出预测结果。

基于top-k的通信高效联邦学习的异构软件缺陷预测算法，包括以下步骤：

步骤a、所有参与方将全局参数进行解码，利用解码后的全局模型梯度参数与缺陷数据基于胶囊神经网络进行本地训练，更新本地模型；

步骤b、各参与方利用高斯差分隐私对本地模型梯度参数进行加密；

步骤c、各参与方将加密后的梯度参数进行稀疏二值压缩形成稀疏梯度；

步骤d、计算稀疏梯度非零元素之间的相对距离进行Golomb编码并发送到服务器端进行聚合；

步骤e、服务器端将接收到的数据进行解码，并对其进行聚合,对聚合后参数进行稀疏二值压缩和Golomb编码并发送回每个参与方；

步骤f、当通信次数到达最大通信轮次或本地胶囊神经网络模型已经收敛，输出预测结果。

上述的基于top-k的通信高效联邦学习的异构软件缺陷预测算法，步骤a具体为：

参与方将全局参数进行解码，利用解码后的全局模型梯度参数与缺陷数据基于胶囊神经网络进行本地训练，更新本地模型，具体为：