[发明专利]一种基于Adam优化算法的多方联合训练方法及系统

权利要求书

1.一种基于Adam优化算法的多方联合训练方法；所述方法包括：

基于各个数据持有终端的通信状态确定参与模型参数更新的训练成员；

服务器通过多方安全计算的方式获取累计数据；所述累计数据由所述训练成员基于自身的训练数据及其对应的模型参数确定；

服务器基于所述累计数据以及样本标签参与累计梯度值的计算；所述累计梯度值用于所述训练成员计算自身的一阶矩和二阶矩，并基于所述一阶矩和二阶矩完成模型参数的更新；所述一阶矩和所述二阶矩分别用于反映所述累计梯度值的期望和方差；

其中，所述各个数据终端分别持有自身的训练数据以及与所述训练数据对应的模型参数；所述训练数据包括与实体相关的图像数据、文本数据或声音数据；

服务器将模型参数更新的预设迭代次数以及预设批处理参数传输给各个数据持有终端；所述预设迭代次数以及所述预设批处理参数用于对各个数据持有终端的训练数据进行编号；

服务器在计算所述累计梯度值之前，基于接收到的数据编号与所述更新的预设迭代次数的匹配结果，来确定是否进行计算。

2.根据权利要求1所述的方法，所述通信状态包括数据传输的丢包率和/或等待时间；所述基于各个数据持有终端的通信状态确定参与模型参数更新的训练成员包括：

当所述丢包率在预设的丢包率阈值内，和/或所述等待时间在预设的时间阈值内时，将所述完成数据传输的数据持有终端确定为参与模型参数更新的训练成员。

3.根据权利要求1所述的方法，所述方法还包括：

服务器基于所述训练成员当前的迭代次数与所述预设迭代次数之间的迭代次数差值，将与所述迭代次数差值对应个数的累计梯度值传输给所述训练成员。

4.根据权利要求1所述的方法，所述方法还包括：

当通信状态恢复通信连接时，服务器将基于未参与模型参数更新的其他成员的当前迭代次数与所述预设迭代次数之间的迭代次数差值，将与所述迭代次数差值对应个数的累计梯度值传输给所述其他成员；所述累计梯度值用于所述其他成员计算一阶矩和二阶矩。

5.根据权利要求1所述的方法，所述模型包括深度神经网络模型或线性回归模型或逻辑回归模型。

6.根据权利要求5所述的方法，当所述模型包括深度神经网络模型，且所述神经网络模型中部分层的模型参数在服务器端更新时；

所述服务器基于所述累计数据以及样本标签参与累计梯度值的计算包括：

服务器基于所述累计数据以及样本标签计算累计损失值；

服务器基于所述累计损失值，确定所述累计梯度值；并将所述累计梯度值传输给所述训练成员。

7.根据权利要求1所述的方法，所述多方安全计算的方式包括秘密分享。

8.一种基于Adam优化算法的多方联合训练系统；所述系统包括：

训练成员确定模块，用于基于各个数据持有终端的通信状态确定参与模型参数更新的训练成员；

累计数据获取模块，用于通过多方安全计算的方式获取累计数据；所述累计数据由所述训练成员基于自身的训练数据及其对应的模型参数确定；

累计梯度值计算模块，用于基于所述累计数据以及样本标签参与累计梯度值的计算；所述累计梯度值用于所述训练成员计算自身的一阶矩和二阶矩，并基于所述一阶矩和二阶矩完成模型参数的更新；所述一阶矩和所述二阶矩分别用于反映所述累计梯度值的期望和方差；

其中，所述各个数据终端分别持有自身的训练数据以及与所述训练数据对应的模型参数；所述训练数据包括与实体相关的图像数据、文本数据或声音数据；

第一数据传输模块，用于将模型参数更新的预设迭代次数以及预设批处理参数传输给各个数据持有终端；所述预设迭代次数以及所述预设批处理参数用于对各个数据持有终端的训练数据进行编号；服务器在计算所述累计梯度值之前，基于接收到的数据编号与所述更新的预设迭代次数的匹配结果，来确定是否进行计算。