[发明专利]基于孤立森林的联邦学习中毒攻击的防御方法

说明书

本发明公开了一种基于孤立森林的联邦学习中毒攻击的防御方法，包括如下步骤：用干净公开数据集构建验证模型并对验证模型参数注入扰动；在联邦学习的每个迭代中采样上传各个节点更新好的模型参数，将前者和经过扰动处理的验证模型参数形成特征矩阵；使用孤立森林来划分特征矩阵的数据空间，并计算出每个参与者的异常概率分数；根据验证模型的分数在所有上传模型的分数的分布，不断调整阈值，以排除攻击者，并尽量减少防御模型对良性用户的影响。该方法可以自动防御中毒攻击，通过调整预先训练好的验证模型，显著提升联邦学习的鲁棒性，确保联邦学习全局模型的正常训练。

技术领域

本发明涉及联邦学习技术领域，具体是一种基于孤立森林的联邦学习中毒攻击的防御方法。

背景技术

机器学习训练需要大量的可能包含个人隐私的数据，很多用户基于隐私泄露的风险不愿意提交数据。联邦学习是最近提出的一种机器学习方法，因能有效地缓解“数据孤岛”现象而被广泛关注。在联邦学习中，每个参与方对自己的数据具有绝对的控制权，中心服务器无法直接或间接操作计算节点上的数据，计算节点之间或计算节点与模型服务器间通过交换模型参数等信息协同训练，使得模型在保护用户数据的隐私的同时，其性能接近传统集中式机器学习。

然而，联邦学习的训练过程依赖参与方的诚信，假设参与方会真实有效的执行模型训练过程。这个假设在实际应用过程中通常难以满足。例如，参与方可能由于软硬件故障或者遭受恶意攻击而偏离正常行为，甚至参与方本身就是恶意的，通过篡改本地数据或修改上传的模型参数攻击联邦学习系统，使训练出的模型性能不佳或无法收敛。

目前的防御联邦学习中的中毒攻击的方法中，基于距离或密度测量的方法计算成本昂贵且耗时；利用模型更新来估计真实中心参数并传给服务器的方法可以在一定程度上减轻恶意攻击的影响，但不能完全消除它们，因为其无法区分合法更新和正常更新；此外，这些方法大多假设独立且同分布的数据，而由于联邦学习中计算节点中的数据是独立产生的，各自的数据量与设备自身等诸多因素有关，很难保证不同节点拥有相近的数据量，所以往往表现出不同的分布特征。同时，异常检测技术很容易产生过高的误识率，错误地排除了良性用户的参与，反而降低了模型的精度，精准的排除异常用户的影响是联邦学习系统正常工作的保障。

发明内容

本发明的目的是针对现有技术中存在的不足，而提供一种针对联邦学习中恶意用户的中毒攻击的防御方法。这种方法能降低误识率，鲁棒性强。

实现本发明目的的技术方案是：

一种基于孤立森林的联邦学习中毒攻击的防御方法，实现该防御策略的场景是一个由数个参与方和一个中央服务器组成的水平联邦学习模型，每个参与者只可以访问自己的本地数据集，每个节点的数据都不与服务器共享，所述方法包括如下步骤：

步骤1：联邦学习模型初始化，设置整体训练轮次、参与者的数量K和一个中央服务器S，每个参与者可以访问自己的本地数据集D_i，|D_i|＝l_i，每个参与者的数据都不与服务器共享，样本总数为l；

步骤2：验证模型预训练：配置干净的公共数据集训练验证模型，部分验证模型参数注入扰动；训练孤立森林异常检测模块使其能区分经过扰动和未经扰动的验证模型；

步骤3：联邦学习第t轮训练时，每个节点利用中央服务器下发的全局模型参数和本地数据集D_i在本地训练并产生新的模型参数n表示模型参数的维度，随机选择k个客户将将其更新后的模型参数同步上传至中央服务器；

步骤4：对采样上传的模型参数，不计算节点模型参数之间的距离，而是构造孤立森林异常检测模块，投入采样的模型参数和经过扰动处理的验证模型参数共同参与检测；

步骤4.1：构造特征矩阵X_k×m，递归地随机分割X_k×m，采用子采样的方式构造多颗决策树iTree，将返回的iTree集合并准备进行评估；