[发明专利]分布式系统的机器学习方法、装置、系统、设备及存储介质

权利要求书

1.一种分布式系统的机器学习方法，其特征在于，所述分布式系统包括主设备和多个从设备，所述方法包括：

所述主设备对机器学习模型的全局梯度标量进行同态加密，将得到的加密全局梯度标量发送至所述从设备；

所述从设备基于所述加密全局梯度标量、所述从设备针对训练样本存储的特征数据以及所述从设备对应的局部模型参数，确定所述从设备对应的加密局部梯度；

所述主设备与所述从设备共同解密所述加密局部梯度，得到所述从设备对应的解密局部梯度；

所述从设备基于所述从设备对应的解密局部梯度以及所述从设备对应的历史解密局部梯度，确定所述从设备对应的局部梯度变化量；

基于所述从设备对应的局部模型参数以及所述从设备对应的历史局部模型参数，确定所述从设备对应的局部模型参数变化量，基于所述从设备对应的局部梯度变化量以及所述从设备对应的局部模型参数变化量，确定所述从设备对应的局部梯度下降方向；

基于所述从设备对应的局部梯度下降方向更新所述从设备对应的局部模型参数。

2.根据权利要求1所述的方法，其特征在于，所述主设备对机器学习模型的全局梯度标量进行同态加密之前，还包括：

基于所述多个从设备级联传递的对应所述训练样本的局部对数几率，确定对应所述训练样本的全局对数几率；

基于对应所述训练样本的全局对数几率以及所述主设备针对所述训练样本存储的标签数据，确定所述机器学习模型的全局梯度标量。

3.根据权利要求2所述的方法，其特征在于，所述基于所述多个从设备级联传递的对应所述训练样本的局部对数几率，确定对应所述训练样本的全局对数几率，包括：

基于所述主设备针对所述训练样本存储的特征数据以及所述从设备对应的局部模型参数，确定所述主设备对应所述训练样本的局部对数几率；

对所述主设备对应所述训练样本的局部对数几率与第一随机数进行加和处理，并将得到的第一加和结果发送至所述从设备；

所述从设备基于所述第一加和结果累加所述从设备对应所述训练样本的局部对数几率，得到对应所述局部对数几率的累加结果；

将对应所述局部对数几率的累加结果与所述第一随机数的差值，作为对应所述训练样本的全局对数几率。

4.根据权利要求3所述的方法，其特征在于，

所述多个从设备是级联的；

所述将得到的第一加和结果发送至所述从设备，包括：

将得到的第一加和结果发送至所述级联的多个从设备中的第一个从设备；

所述第一个从设备对所述第一加和结果与所述第一个从设备对应所述训练样本的局部对数几率进行加和处理，将得到的加和结果输出到后续级联的从设备，以在所述后续级联的从设备中继续进行加和处理和加和结果输出，直至输出到最后一个从设备；

将所述最后一个从设备输出的加和结果作为对应所述局部对数几率的累加结果。

5.根据权利要求1所述的方法，其特征在于，所述从设备基于所述加密全局梯度标量、所述从设备针对训练样本存储的特征数据以及所述从设备对应的局部模型参数，确定所述从设备对应的加密局部梯度，包括：

所述从设备将所述加密全局梯度标量与所述从设备针对训练样本存储的特征数据进行乘积处理，将得到的乘积结果与所述从设备对应的局部模型参数进行加和处理，将得到的加和结果作为所述从设备对应的加密局部梯度。

6.根据权利要求1所述的方法，其特征在于，所述主设备与所述从设备共同解密所述从设备对应的加密局部梯度，得到所述从设备对应的解密局部梯度，包括：

所述主设备接收所述从设备对应的映射加密局部梯度，其中，所述从设备对应的映射加密局部梯度为所述从设备对所述从设备对应的加密局部梯度进行映射得到的；

解密所述从设备对应的映射加密局部梯度，将解密得到的所述从设备对应的映射解密局部梯度发送至所述从设备；

所述从设备基于所述从设备对应的映射解密局部梯度进行逆映射处理，得到所述从设备对应的解密局部梯度。