[发明专利]一种基于Adam优化算法的多方联合训练方法及系统

说明书

本说明书一个或多个实施例涉及一种基于Adam优化算法的多方联合训练方法及系统。所述方法包括：基于各个数据持有终端的通信状态确定参与模型参数更新的训练成员；服务器通过多方安全计算的方式获取累计数据；所述累计数据由所述训练成员基于自身的训练数据及其对应的模型参数确定；服务器基于所述累计数据以及样本标签参与累计梯度值的计算；所述累计梯度值用于所述训练成员计算自身的一阶矩和二阶矩，并基于所述一阶矩和二阶矩完成模型参数的更新；所述各个数据终端分别持有自身的训练数据以及与所述训练数据对应的模型参数；所述训练数据包括与实体相关的图像数据、文本数据或声音数据。其中，所述训练数据可以包括私有数据。

技术领域

本说明书一个或多个实施例涉及多方数据合作，特别涉及一种Adam算法进行多方联合训练的方法和系统。

背景技术

随着人工智能技术的发展，梯度下降优化算法已逐渐应用于医疗、金融等领域。为得到更好的模型性能，梯度下降优化算法就需要更多的训练数据进行模型优化。在不同的企业或机构拥有不同的数据样本，将这些数据进行联合训练，能够提升模型精度，给企业带来很大的经济效益。因此，梯度下降优化算法常被用在多方参与的深度学习训练。Adam算法作为梯度下降优化算法中的一种，由于其收敛速度快、超参可进行自适应调整等优点被广泛使用。

因此，有必要提供一种基于Adam优化算法的联合训练方法，以提高有多方数据拥有者参与的联合训练的效率。

发明内容

本说明书实施例的一个方面提供一种基于Adam优化算法的多方联合训练方法；所述方法包括：基于各个数据持有终端的通信状态确定参与模型参数更新的训练成员；服务器通过多方安全计算的方式获取累计数据；所述累计数据由所述训练成员基于自身的训练数据及其对应的模型参数确定；服务器基于所述累计数据以及样本标签参与累计梯度值的计算；所述累计梯度值用于所述训练成员计算自身的一阶矩和二阶矩，并基于所述一阶矩和二阶矩完成模型参数的更新；所述一阶矩和所述二阶矩分别用于反映所述累计梯度值的期望和方差；其中，所述各个数据终端分别持有自身的训练数据以及与所述训练数据对应的模型参数；所述训练数据包括与实体相关的图像数据、文本数据或声音数据。

本说明书实施例的另一个方面提供一种基于Adam优化算法的多方联合训练系统；所述系统包括：训练成员确定模块，用于基于各个数据持有终端的通信状态确定参与模型参数更新的训练成员；累计数据获取模块，用于通过多方安全计算的方式获取累计数据；所述累计数据由所述训练成员基于自身的训练数据及其对应的模型参数确定；累计梯度值计算模块，用于基于所述累计数据以及样本标签参与累计梯度值的计算；所述累计梯度值用于所述训练成员计算自身的一阶矩和二阶矩，并基于所述一阶矩和二阶矩完成模型参数的更新；所述一阶矩和所述二阶矩分别用于反映所述累计梯度值的期望和方差；其中，所述各个数据终端分别持有自身的训练数据以及与所述训练数据对应的模型参数；所述训练数据包括与实体相关的图像数据、文本数据或声音数据。

本说明书实施例的另一个方面提供一种基于Adam优化算法的多方联合训练装置，所述装置包括处理器以及存储器；所述存储器用于存储指令，所述处理器用于执行所述指令，以实现所述基于Adam优化算法的多方联合训练方法对应的操作。

附图说明

本说明书将以示例性实施例的方式进一步描述，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本说明书一些实施例所示的基于Adam算法进行多方联合训练系统的示例性应用场景图；

图2是根据本说明书一些实施例所示的一种Adam算法进行多方联合训练的方法的示例性流程图；以及

图3是根据本说明书的另外一些实施例所示的Adam算法进行多方联合训练方法的示例性示意图。

具体实施方式