[发明专利]一种隐私保护的神经网络多方协作无损训练方法及系统

说明书

本发明属于信息安全技术领域，公开了一种隐私保护的神经网络多方协作无损训练方法及系统，系统初始化，可信中心生成并分发系统参数、参与方私钥和聚合服务器私钥，聚合服务器生成神经网络模型和训练中的超参数；模型扰动和分发，聚合服务器对全局模型参数进行裁剪和打乱，并下发扰动后的模型；参与方用本地数据对收到的模型参数进行随机梯度下降训练，获得本地更新，并使用参与方私钥对本地更新进行加密后上传给聚合服务器；聚合服务器对收到的各密文本地更新进行聚合、聚合服务器私钥解密，得到聚合更新，并通过模型恢复得到新的全局模型参数。本发明能够实现对训练期间本地更新和全局模型参数中的敏感数据信息的隐私保护。

技术领域

本发明属于信息安全技术领域，尤其涉及一种隐私保护的神经网络多方协作无损训练方法及系统。

背景技术

近年来，神经网络在自然语言处理、计算机视觉和人机游戏等许多领域得到了广泛的应用，给人们的生活带来了极大的便利。与此同时，由于分布式设备生成的数据量爆炸性增长，再加上数据收集的隐私问题，Google提出了联邦学习的方法，它可以在不共享本地数据的前提下在多个参与方的本地数据上协作训练高质量的神经网络模型。在联邦学习的每轮训练中，参与方用自己的数据对全局模型参数进行训练，然后将获得的本地更新发送到聚合服务器，以更新全局模型参数。然而在上述过程中，聚合服务器和参与方之间交换的本地更新和全局模型参数中仍包含参与方的敏感数据信息，面临着成员推断、类属性推断和特征推断等多种推断攻击的威胁，存在着隐私泄露的风险。为了找出一种解决上述问题的方法，人们提出了一些解决方案，其中包括：

索信达(北京)数据技术有限公司申请的专利“一种基于联邦学习的模型训练方法及系统”(申请号CN202110015272.9公开号CN112333216A)公开了一种基于联邦学习的模型训练方法及系统，基于安全聚合算法，该方法可以保证模型训练精度，同时保护参与方的隐私数据。该方法的不足之处在于：需要各参与方间点对点建立连接，应用场景受限；精确的全局模型在每轮训练中被下发给各参与方，仍然面临着推断攻击的风险，存在安全性不足的问题。

支付宝(杭州)信息技术有限公司申请的专利“基于差分隐私的联邦学习方法、装置及电子设备”(申请号CN202011409580.1公开号CN112541592A)公开了一种基于差分隐私的联邦学习方法及装置、电子设备，能够提高联邦学习过程中的通讯效率，从而提高了联邦学习的效率。该方法的不足之处在于：需要向本地更新中加入差分隐私噪声，会影响训练模型的精度。

解决以上问题及缺陷的难度为：神经网络模型的结构复杂，基于同态加密构造密文模型训练方法非常困难。基于差分隐私等扰动方法构造的模型聚合和更新方法，存在着隐私性和可用性的平衡问题。神经网络模型的规模庞大，训练模型耗时较长，传输模型参数时需要稳定的连接和充足的带宽，因此存在通信和计算开销上的问题。

解决以上问题及缺陷的意义为：针对分布式场景中的数据安全问题，面向神经网络模型设计一种隐私保护的多方协作无损训练方法及系统，安全且精确地训练高质量的神经网络联合模型，在隐私保护的前提下充分发挥用户数据的巨大应用价值。

为了解决以上问题及缺陷，本发明采取的措施包括：

(1)本发明采用安全聚合方法使聚合服务器在联邦学习过程中无法获得参与方的本地更新，并通过神经元裁剪和打乱改变全局模型参数的顺序和数值，使参与方无法通过比较连续的全局模型参数来推断其他参与方的敏感数据，解决了模型训练中安全性不足的问题。

(2)本发明中采用的模型扰动方法只会修剪并合并神经网络中的冗余神经元，不会造成模型精度的损失，解决了差分隐私方法带来的模型精度损失问题。

(3)本发明通过采用秘密共享技术，即使某些参与方在训练中途退出，聚合服务器仍可以汇总参与方的本地更新。

发明内容

针对现有技术存在的问题，本发明提供了一种隐私保护的神经网络多方协作无损训练方法及系统。