[发明专利]一种用于保护标签信息的纵向联邦神经网络模型学习方法

权利要求书

1.一种用于保护标签信息的纵向联邦神经网络模型学习方法，对纵向联邦神经网络模型的反向偏导进行多元高斯分布建模；根据用户提供的最大可接受的距离指标，计算得到满足该距离指标的对纵向联邦神经网络模型精度影响最小的扰动，以及对应的扰动噪声；并将扰动噪声添加至参与方的反向偏导，得到扰动后的结果，由此提高纵向联邦神经网络模型训练用于保护标签信息的隐私性和可用性；包括如下步骤：

1）对纵向联邦神经网络模型的反向偏导进行多元高斯分布建模；

可采用两方或方（）二分类纵向联邦神经网络模型，在模型训练过程中，将其中含有标签信息的1个参与方记为参与方B，包括正样本和负样本；参与方B可能拥有特征数据，或者没有特征数据；其余 个参与方为参与方A，拥有特征数据；对参与方A的反向偏导进行分布建模；包括：

11）计算出二分类纵向联邦神经网络模型参与方A的反向偏导；参与方A的反向偏导中隐含标签信息，参与方A可通过其反向偏导得出部分或全部训练样本的标签；

12）对参与方B中的正样本和负样本的反向偏导分别进行多元高斯分布建模，分别得到拟合多元高斯分布，具体为：

设定的隐层维度为，对正样本和负样本分别拟合多元高斯分布，分别记为；其中期望是大小为的向量，协方差矩阵是大小为的对角矩阵；

2）计算扰动分布；包括：

对于参与方B中正样本和负样本任意维度的多元高斯分布，分别给定分布的期望值和标准差的数值，以及用户提供的最大可接受的距离指标，距离指标为添加扰动后，用户可接受的最大sumKL值；

首先计算最优的扰动后的标准差，即；

再通过计算得到扰动分布的协方差、；

可采用二分查找方法和计算下界值方法进行计算；

对每个维度都进行计算，即可得到完整的扰动分布的协方差矩阵；

3）添加扰动；

在计算出扰动分布的协方差矩阵后，根据参与方B每条样本的标签，对反向偏导添加噪声扰动；

对所有样本添加扰动噪声完成后，参与方B将反向偏导发送至参与方A，参与方A根据完成模型的反向传播计算；

通过上述步骤，实现用于保护标签信息的纵向联邦神经网络模型学习。

2.如权利要求1所述用于保护标签信息的纵向联邦神经网络模型学习方法，其特征是，步骤1）进一步地，可根据每个小批量样本的反向偏导进行估计。

3.如权利要求2所述用于保护标签信息的纵向联邦神经网络模型学习方法，其特征是，具体是通过计算小批量样本中所有正样本的的平均值得到；通过计算小批量样本中所有正样本的的方差得到。

4.如权利要求1所述用于保护标签信息的纵向联邦神经网络模型学习方法，其特征是，的隐层维度为，分别对正样本和负样本的反向偏导进行二元高斯分布建模。

5.如权利要求1所述用于保护标签信息的纵向联邦神经网络模型学习方法，其特征是，步骤2）中，采用二分查找方法计算得到最优的扰动后的标准差具体是：采用二分查找方式，计算得到最优的扰动后的标准差，使得；其中，为下界值；为上界值；为用于表示正样本和负样本分布标准差的相关函数；为斜率函数；包括：

2A1）在区间中，二分查找，使得约等于-1；

其中，下界值：，其中表示取绝对值；

上界值：；

相关函数，

其中，

计算，即对的导函数；

定义斜率函数表示和(之间的斜率；斜率函数；

2A2）根据得到的标准差，再通过计算得到；

在计算得到最优的扰动后的标准差后，通过计算得到扰动分布的协方差。

6.如权利要求5所述用于保护标签信息的纵向联邦神经网络模型学习方法，其特征是，步骤2）中，步骤2A1）中，所述约等于的误差选取没有限制；具体可采用10^-3量级的可容忍误差，或用户输入误差，或通过计算得到误差。