[发明专利]一种非交互式的隐私保护逻辑回归联邦训练方法及系统

说明书

本发明属于信息安全技术领域，公开了一种非交互式的隐私保护逻辑回归联邦训练方法及系统，所述非交互式的隐私保护逻辑回归联邦训练方法包括：系统初始化与数据归一化；数据预处理和本地训练数据加密；密文训练数据聚合与解密；逻辑回归训练与测试。本发明采用非交互式的联邦学习逻辑回归训练方法，用户不必保证每轮训练过程的在线状态也不必耗费本地资源去参与训练，用户只需在最开始的时候对数据进行预处理与加密，将加密后的数据交由云服务提供商即可，由云服务提供商完成数据的聚合与解密，对全局数据集进行训练，最终得到全局的高效模型，实现本地数据的隐私保护和非交互式的联邦学习逻辑回归训练机制，能提供高效的服务。

技术领域

本发明属于信息安全技术领域，尤其涉及一种非交互式的隐私保护逻辑回归联邦训练方法及系统。

背景技术

目前，随着大数据时代的到来与机器学习技术的发展，联邦学习也得到了越来越广泛地运用。大数据时代，不可避免地会出现数据孤岛的问题，即数据间彼此孤立、同时被不同组织所拥有并且不能被轻易地聚合在一起的问题，由此提出了联邦学习的概念，即联合构建机器学习模型的方法。联邦学习的优势在于它既能帮助多个参与方共同搭建共享的高性能模型，还能最大化地利用云系统下终端设备的计算能力。

但是传统的联邦学习训练采用的是用户在本地对自己拥有的数据进行训练得到本地模型更新参数，然后将本地模型更新参数上传给服务器，由服务器完成各个本地模型更新参数的聚合并返回给用户。采取这样的训练方式要求用户必须保证每轮训练都在线并且需要消耗大量本地资源去进行训练，同时用户上传的本地模型更新参数并未进行加密保护，会造成用户数据在一定程度上的泄露的问题。

现有技术为了实现高效的隐私保护的基于横向联邦学习的逻辑回归方案，通常现有的技术是通过用户在本地对数据进行训练，然后将得到的梯度参数加密之后上传给服务器的方式。但是会存在各数据拥有者的敏感数据(例如样本数据、统计分析数据等)并未得到保护，存在敏感信息泄露的风险。

具体来说，例如同盾控股有限公司的专利“联邦学习的方法、装置及系统”(申请号202010370086.2申请公布号CN 111553484 A)一种联邦学习的方法、装置及系统，可以解决现有的联邦学习系统中网络传输开销大以及数据不安全的问题中至少一个问题。该方法的不足之处在于：只能解决数据传输中开销大的问题，以及通过传输更新梯度的最后几层也可以有效的避免根据全部的更新梯度得到客户端本地原始数据的风险，达到了对更新的梯度保密的效果，但没有对传输过程的中的梯度进行密码学保护，存在安全性不足的问题。

具体来说，例如哈尔滨工业大学(深圳)申请的专利“一种联邦学习的模型分发与聚合的传输调度方法”(申请号202011059108.X申请公布号CN112183767A)公开了一种多密钥下模型聚合的联邦学习方法及相关设备，用于在多方协同训练机器学习模型时，保障各个数据公司的数据样本不被公开。但是由于训练训练的过程需要用户一直保持在线，并且每轮迭代都需要进行一次通信，增加了通信开销。

通过上述分析，现有技术存在的问题及缺陷为：

(1)传统的联邦学习训练方法没有对用户上传的本地模型更新参数进行加密保护，会造成用户数据在一定程度上的泄露的问题。

(2)现有的联邦学习逻辑回归训练方案，存在安全性不足，不能支持逻辑回归模型训练过程中数据保护的问题。

(3)同时，现有的联邦学习逻辑回归训练方案大多数未针对非交互式的场景，需要用户一直保持在线的状态，消耗用户本地的计算资源。

解决以上问题及缺陷的难度为：

(1)现存同态加密技术难以用于非交互式计算场景，不能为多数据源提供有效的隐私保护。

(2)要对用户上传的本地模型更新参数进行加密保护，则需要用到同态加密的密码学保护方法，会在一定程度上降低模型的准确度以及会加大通信和计算开销。