[发明专利]联合更新模型的方法及装置

权利要求书

1.一种联合更新模型的方法，适用于多个数据方基于隐私保护，在第三方的辅助下联合训练模型，所述模型对应各个数据方各自设置的本地模型，和设置在第三方的全局模型；在单个更新周期，所述方法包括：

各个数据方分别执行以下本地训练操作得到相应的中间结果：利用本地模型处理本地数据，得到本地输出；基于本地数据和本地输出，在本地模型和本地模拟攻击模型之间进行对抗训练；向第三方发送基于对抗训练更新的本地模型对本地数据处理得到的中间结果；其中，所述本地攻击模型用于推断所述本地数据或其数据属性；

第三方获取各个数据方分别发送的各个中间结果，并利用所述全局模型处理各个中间结果，以向各个数据方各自反馈相应的中间结果对应的梯度数据；

各个数据方根据第三方反馈的梯度数据，调整本地模型的待定参数，从而更新本地模型。

2.一种联合更新模型的方法，适用于多个数据方基于隐私保护，在第三方的辅助下联合训练模型的过程，所述模型对应各个数据方各自设置的本地模型，和设置在第三方的全局模型；所述方法由所述多个数据方中的第一数据方执行，在单个更新周期，所述方法包括：

利用本地模型处理本地数据，得到本地输出；

基于本地数据和本地输出，在本地模型和本地模拟攻击模型之间进行对抗训练，所述本地攻击模型用于推断所述本地数据或其数据属性；

向第三方发送基于对抗训练更新的本地模型对本地数据处理得到的第一中间结果，以供第三方利用所述全局模块处理各个数据方分别发送的各个中间结果，从而反馈与第一中间结果相关的第一梯度数据；

利用所述第一梯度数据确定本地模型中各个待定参数的梯度，以更新本地模型中的各个待定参数，从而更新本地模型。

3.根据权利要求2所述的方法，其中，当前周期使用本地模型处理的本地数据条数为n，本地模型针对n条本地数据分别得到相应的n个本地输出，n为正整数；所述基于本地数据和本地输出，在本地模型和本地模拟攻击模型之间进行对抗训练包括：

将n个本地输出和n条本地数据一一对应构建n个训练样本，其中，本地输出作为本地模拟攻击模型的输入特征，本地数据作为本地模拟攻击模型的样本标签；

利用所述n个训练样本训练本地模拟攻击模型；

在本地模拟攻击模型的待定参数收敛的情况下，通过对抗本地模拟攻击模型对本地输出的攻击，调整所述本地模型的待定参数。

4.根据权利要求3所述的方法，其中，所述利用所述n个训练样本训练本地模拟攻击模型包括：

将各个本地输出分别输入本地模拟攻击模型，得到相应的各个攻击结果；

利用各个攻击结果分别与相应的本地数据的对比，确定攻击损失，其中，单个攻击结果与单条本地数据的一致性越高，攻击损失越小；

以减小攻击损失为目标，调整本地模拟攻击模型的待定参数。

5.根据权利要求3所述的方法，其中，所述通过对抗本地模拟攻击模型对本地输出的攻击，调整所述本地模型的待定参数包括：

通过待定参数收敛的本地模拟攻击模型处理各个本地输出，得到分别针对各个本地输出的各个攻击结果；

基于各个攻击结果与相对应的各条本地数据的对比，确定隐私损失，其中，单个攻击结果与单条本地数据的一致性越低，隐私损失越小；

基于隐私损失确定本地模型在当前周期的本地损失，并以本地损失最小化为目标调整本地模型的待定参数。

6.根据权利要求5所述的方法，其中，所述本地损失还包括准确性损失，所述准确性损失与针对本地模型的待定参数的调整幅度正相关；所述基于隐私损失确定本地模型在当前周期的本地损失包括：

利用所述隐私损失和所述准确性损失的叠加结果确定所述本地损失。

7.根据权利要求2所述的方法，其中，所述第一梯度数据包括所述全局损失针对所述第一中间结果的第一梯度；所述利用所述第一梯度数据确定本地模型中各个待定参数的梯度包括：

确定所述第一中间结果分别针对本地模型中各个待定参数的各个第二梯度；

本地模型中各个待定参数的梯度分别为各个第二梯度与所述第一梯度的乘积。