[发明专利]一种模型训练过程中的隐私保护方法、系统及相关设备

权利要求书

1.一种模型训练过程中的隐私保护方法，其特征在于，包括：

接收服务端发送的目标模型，并接收所述服务端发送的选择指令，所述选择指令用于指示随机选中的部分客户端；

被选中的客户端以概率P参与所述目标模型训练，未被选中的客户端以概率(1-P)参与所述目标模型训练；

所有确定参与所述目标模型训练的客户端作为目标客户端，分别采用本地数据对所述目标模型进行训练，并计算每个训练之后的目标模型的模型参数更新值；

按照预设差分隐私算法对每组模型参数更新值进行处理生成更新数据，并将所述更新数据返回给服务端，以使得所述服务端根据所有的所述更新数据生成本轮训练的全局模型。

2.根据权利要求1所述的方法，其特征在于，还包括：

获取隐私预算参数ε，根据公式P＝(e^ε)/(1+e^ε)计算概率P。

3.根据权利要求1或2所述的方法，其特征在于，所述按照预设差分隐私算法对每组模型参数更新值进行处理生成更新数据，包括：

采用高斯噪声机制生成每组模型参数更新值的高斯噪声，将每组模型参数更新值的高斯噪声与对应的模型参数更新值进行叠加处理生成更新数据。

4.根据权利要求3所述的方法，其特征在于，所述采用高斯噪声机制生成每组模型参数更新值的高斯噪声，包括：

在目标客户端每一回合的训练后，计算出模型参数更新值对应矩阵的二范数，并计算N个回合的二范数的平均值S；

随机生成方差为σ²S²的高斯噪声。

5.根据权利要求4所述的方法，其特征在于，还包括：

采用批量梯度下降法对目标模型进行训练，并设置高斯噪声的权重为1/B，其中B为批次数量。

6.根据权利要求5所述的方法，其特征在于，将所述更新数据返回给服务端，包括：

采用独立加法器对每个所述目标客户端返回的更新数据进行叠加得到叠加值，将所述叠加值返回给所述服务端。

7.根据权利要求6所述的方法，其特征在于，还包括：

所述服务端根据所述概率P计算所述目标客户端的数量的期望值M；

所述服务端根据所述期望值M及所述叠加值计算模型参数更新值的均值。

8.一种隐私保护系统，其特征在于，包括客户端及服务端，所述客户端用于接收模块，用于接收服务端发送的目标模型，并接收所述服务端发送的选择指令，所述选择指令用于指示随机选中的部分客户端；

被选中的客户端以概率P参与所述目标模型训练，未被选中的客户端以概率(1-P)参与所述目标模型训练；

所有确定参与所述目标模型训练的客户端作为目标客户端，所述目标客户端分别采用本地数据对所述目标模型进行训练，并计算每个训练之后的目标模型的模型参数更新值；

按照预设差分隐私算法对每组模型参数更新值进行处理生成更新数据，并将所述更新数据返回给服务端，以使得所述服务端根据所有的所述更新数据生成本轮训练的全局模型。

9.一种计算机装置，其特征在于，所述计算机装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至7中任意一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述方法的步骤。