[发明专利]模型训练方法、业务处理方法、装置及相关设备

权利要求书

1.一种模型训练方法，应用于第一节点设备，其特征在于，包括：

获取目标模型中的目标特征的权重参数；

根据所述目标特征的权重参数确定所述目标特征的当前梯度累积量；所述当前梯度累积量是指当前模型训练与上一次获取并发送近似动量的模型迭代训练之间的梯度累积量；

若所述当前梯度累积量满足预设条件，则获取所述目标特征的近似动量，包括：若所述当前梯度累积量满足预设条件，则获取动量近似算法，根据所述目标特征的历史梯度累积量及所述当前梯度累积量，采用所述动量近似算法计算所述目标特征的近似动量；所述近似动量是根据所述目标特征的梯度累积量进行动量近似计算得到的动量；

向第二节点设备发送所述目标特征的近似动量，使所述第二节点设备采用所述目标特征的近似动量更新所述目标模型；

其中，所述根据所述目标特征的历史梯度累积量及所述当前梯度累积量，采用所述动量近似算法计算所述目标特征的近似动量，包括：调用梯度衰减因子对所述历史梯度累积量进行衰减处理，将衰减处理后的历史梯度累积量与所述当前梯度累积量进行合并处理得到所述目标特征的近似动量。

2.如权利要求1所述的方法，其特征在于，所述权重参数包括第一权重参数；所述获取目标模型中的目标特征的权重参数，包括：

从第二节点设备拉取所述目标模型中的目标特征的第一权重参数。

3.如权利要求1所述的方法，其特征在于，所述权重参数包括第二权重参数；所述获取目标模型中的目标特征的权重参数，包括：

从第二节点设备拉取所述目标模型中的目标特征的第一权重参数；

采用所述目标特征的历史梯度累积量对所述第一权重参数进行更新得到第二权重参数。

4.如权利要求1所述的方法，其特征在于，所述根据所述目标特征的权重参数确定所述目标特征的当前梯度累积量，包括：

根据所述目标特征的权重参数进行梯度计算，得到目标梯度；

合并所述目标特征的历史梯度累积量和所述目标梯度，得到所述目标特征的当前梯度累积量。

5.如权利要求4所述的方法，其特征在于，所述合并所述目标特征的历史梯度累积量和所述目标梯度，得到所述目标特征的当前梯度累积量，包括：

获取梯度学习率；

采用所述梯度学习率对所述目标梯度进行加权得到中间梯度；

合并所述中间梯度和所述目标特征的历史梯度累积量，得到所述目标特征的当前梯度累积量。

6.一种模型训练方法，应用于第二节点设备，其特征在于，包括：

接收第一节点设备发送的目标模型中的目标特征的近似动量，所述目标特征的近似动量是当所述目标特征的当前梯度累积量满足预设条件时，由所述第一节点设备获取并发送的，包括：若所述当前梯度累积量满足预设条件，则获取动量近似算法，根据所述目标特征的历史梯度累积量及所述当前梯度累积量，采用所述动量近似算法计算所述目标特征的近似动量；所述当前梯度累积量根据所述目标特征的权重参数确定；所述当前梯度累积量是指当前模型训练与上一次获取并发送近似动量的模型迭代训练之间的梯度累积量；所述近似动量是根据所述目标特征的梯度累积量进行动量近似计算得到的动量；其中，所述根据所述目标特征的历史梯度累积量及所述当前梯度累积量，采用所述动量近似算法计算所述目标特征的近似动量，包括：调用梯度衰减因子对所述历史梯度累积量进行衰减处理，将衰减处理后的历史梯度累积量与所述当前梯度累积量进行合并处理得到所述目标特征的近似动量；

采用所述目标特征的近似动量更新所述目标模型。

7.如权利要求6所述的方法，其特征在于，在所述接收所述第一节点设备发送的目标模型中的目标特征的近似动量之前，还包括：

响应于第一节点设备的拉取操作，向所述第一节点设备发送目标模型中的目标特征的第一权重参数。

8.如权利要求7所述的方法，其特征在于，所述采用所述目标特征的近似动量更新所述目标模型，包括：

基于长期梯度补偿策略并采用所述目标特征的近似动量更新所述目标模型。