[发明专利]抗推理攻击的分布式多任务学习隐私保护方法及系统

说明书

抗推理攻击的分布式多任务学习隐私保护方法及系统，通过各任务节点基于本地数据进行模型训练，并通过共享知识的方式实现联合模型训练；本发明提出基于同态密码学的隐私保护模型训练机制，使得任务节点在保证训练数据隐私的前提下，实现多任务学习模型训练，并使得模型训练效率独立于样本数据量，提高了机器学习模型训练效率；设计了基于差分隐私的模型发布方法，可以抵抗模型用户在访问机器学习模型时发起的身份推理攻击。系统包括密钥生成中心、中央服务器、任务节点和模型用户。本发明能够保证模型训练过程中和模型发布后任务节点的数据隐私，促进多任务机器学习的大规模应用。

技术领域

本发明属于信息安全领域，具体涉及一种抗推理攻击的分布式多任务学习隐私保护方法及系统，能够用于大规模不同分布数据的多任务模型协同训练。

背景技术

随着云计算和大数据技术的发展，机器学习技术得到了大规模的应用，尤其在图像识别、智能语音识别等领域，机器学习模型的识别精度已经超过人脑的识别精度。机器学习往往基于海量数据进行模型训练，然而，训练数据可能来自不同数据源，从而导致所收集的数据分布情况不同。因此，传统的机器学习模型训练方法难以直接应用于多数据分布模型训练。

为使得机器学习模型在多样化分布的数据上具有更好的泛化能力，多任务机器学习被用于在多样化分布的数据上同时实现多个模型训练，通过共享知识，实现多个训练任务的联合学习。然而，训练数据中通常含有用户的大量敏感信息，如疾病诊断信息、个人身份信息、兴趣偏好信息等，数据拥有者或者训练任务节点可能会因为担心隐私信息泄露拒绝以明文形式共享训练数据和提取的共享知识。目前，已有多种基于密码学和差分隐私技术的多任务学习模型训练方案，但是在大规模、多分布的数据中进行模型训练，现有方案仍存在模型训练效率低、训练模型准确性差、数据隐私无法保证等问题。如：“Privacy-Preserving Distributed Multi-Task Learning with Asynchronous Updates”中采用差分隐私方案对任务间共享的信息进行扰动，但是，由于在共享信息中加入了噪声，从而导致共享信息的准确性降低，进而导致了模型训练精度降低。因此，如何能在确保用户数据隐私的前提下，实现多任务的机器学习模型训练已成为多分布数据机器学习进一步发展与应用的关键。

发明内容

本发明的目的在于针对上述现有技术中多分布数据机器学习模型训练过程中的隐私保护问题，提供一种抗推理攻击的分布式多任务学习隐私保护方法及系统，以保证模型训练过程中和模型发布后任务节点的数据隐私，促进多任务机器学习的大规模应用。

为了实现上述目的，本发明有如下的技术方案：

一种抗推理攻击的分布式多任务学习隐私保护方法，包括以下步骤：

步骤1，为中央服务器和任务节点生成安全密钥，并通过安全通道实现密钥分发；

步骤2，各任务节点初始化训练模型的参数，并将参数分为共享部分和任务相关部分；

步骤3，选择ADMM为模型训练优化器提升训练模型的训练效率，各任务节点计算其参数共享部分和训练样本表示矩阵的乘积，并将计算结果加密后发送给中央服务器；

步骤4，基于ADMM约束条件，构造增广拉格朗日函数，并分别求解获得拉格朗日乘子、参数共享部分和参数任务相关部分的更新式；

步骤5，对步骤4更新式所涉及的训练样本数据进行预处理计算，降低模型训练过程中密文数据计算量；中央服务器对步骤3所述各任务节点上传的乘积进行聚合处理；

步骤6，各任务节点从中央服务器下载其对应的乘积聚合结果，以步骤5中预处理计算的训练样本为输入，计算更新拉格朗日乘子；

步骤7，以更新后的拉格朗日乘子和预处理计算的训练样本数据作为输入，计算更新参数共享部分，计算参数共享部分和训练样本表示矩阵的乘积，将乘积上传给中央服务器；