[发明专利]联合更新模型的方法及装置

说明书

本说明书实施例提供一种联合更新模型的方法及装置，联合更新的模型由各个数据方分别在本地设置的各个本地模型以及第三方设置的全局模型构成。第三方为服务方或可信第三方。该模型架构可以适用纵向联邦学习过程。即单个参与方持有训练样本的特征和标签的部分数据。由于各个数据方还在本地设置有模拟攻击模型，在联合更新模型的单个周期，模拟攻击模型和本地模型可以进行对抗训练，使得本地模型向第三方提供的针对本地数据进行处理的本地输出，基于对抗模拟攻击模型的攻击得到，从而保证隐私性。以上方案通过模拟攻击模型参与的对抗训练，有利于衡量联邦学习过程的数据隐私性。

技术领域

本说明书一个或多个实施例涉及计算机技术领域，尤其涉及联合更新模型的方法及装置。

背景技术

随着深度学习的飞速发展，人工智能技术正在几乎每个行业中展示其优势。然而大数据驱动的人工智能在现实情况中存在很多困难。例如数据孤岛现象严重，利用率低且成本一直居高不下。一些行业的单一数据方还可能存在数据有限或数据质量较差的问题。另外，由于行业竞争，隐私安全和复杂的管理程序，即使同一公司的不同部门之间的数据集成也可能面临着巨大的阻力，数据整合成本较高。联邦学习正是在这样的背景下提出的。联邦学习是一种基于分布式机器学习的框架，主要思想是基于分布在多个设备上的数据集构建机器学习模型，同时防止数据泄露。在这种框架下，客户端(例如移动设备)在中央服务器的协调下协作地训练模型，同时训练数据可保留在客户端本地，无需像传统机器学习方法将数据上传至数据中心。

出于隐私考虑，参与联邦学习的各数据方的本地私有数据都无需上传至数据中心，而是直接存储在本地，通过共享模型的参数或参数更新信息来保护每个客户端的数据。但是作为训练模型的一部分，这些共享的数据以外的其他信息(例如梯度信息)也可能相第三方或者中央服务泄露客户端数据集的敏感信息，对数据的隐私造成一定的威胁。因此，数据的隐私性和准确性之间如何平衡，是联邦学习的重要问题。

发明内容

本说明书一个或多个实施例描述了一种联合更新模型的方法及装置，用以解决背景技术提到的一个或多个问题。

根据第一方面，提供一种联合更新模型的方法，适用于多个数据方基于隐私保护，在第三方的辅助下联合训练模型，所述模型对应各个数据方各自设置的本地模型，和设置在第三方的全局模型；在单个更新周期，所述方法包括：各个数据方分别执行以下本地训练操作得到相应的中间结果：利用本地模型处理本地数据，得到本地输出；基于本地数据和本地输出，在本地模型和本地模拟攻击模型之间进行对抗训练；向第三方发送基于对抗训练更新的本地模型对本地数据处理得到的中间结果；其中，所述本地攻击模型用于推断所述本地数据或其数据属性；第三方获取各个数据方分别发送的各个中间结果，并利用所述全局模型处理各个中间结果，以向各个数据方各自反馈相应的中间结果对应的梯度数据；各个数据方根据第三方反馈的梯度数据，调整本地模型的待定参数，从而更新本地模型。

根据第二方面，提供一种联合更新模型的方法，适用于多个数据方基于隐私保护，在第三方的辅助下联合训练模型的过程，所述模型包括各个数据方各自设置的本地模型，和设置在第三方的全局模型；所述方法由所述多个数据方中的第一数据方执行，在单个更新周期，所述方法包括：利用本地模型处理本地数据，得到本地输出；基于本地数据和本地输出，在本地模型和本地模拟攻击模型之间进行对抗训练，所述本地攻击模型用于推断所述本地数据或其数据属性；向第三方发送基于对抗训练更新的本地模型对本地数据处理得到的第一中间结果，以供第三方利用所述全局模块处理各个数据方分别发送的各个中间结果，从而反馈与第一中间结果相关的第一梯度数据；利用所述第一梯度数据确定本地模型中各个待定参数的梯度，以更新本地模型中的各个待定参数，从而更新本地模型。