[发明专利]参数交换方法、工作节点以及参数服务器系统

权利要求书

1.一种参数交换方法，应用于参数服务器系统中的工作节点，其特征在于，包括：

根据训练数据计算得到新的模型参数；所述模型参数用于更新所述参数服务器系统的算法模型的参数；

判断所述新的模型参数是否为不能使得所述算法模型的最终模型参数得到预期优化的无效参数，若为无效参数，则不向所述参数服务器系统中的服务节点推送所述新的模型参数。

2.根据权利要求1所述的参数交换方法，其特征在于，所述算法模型为梯度下降算法模型，所述新的模型参数为梯度值；

所述判断所述新的模型参数是否为不能使得所述算法模型的最终模型参数得到预期优化的无效参数，具体包括：

计算得到所述新的模型参数的参数模长，

判断所述参数模长是否小于预设模长，若小于所述预设模长，则判定所述新的模型参数为无效参数。

3.根据权利要求2所述的参数交换方法，其特征在于，还包括：若所述参数模长大于或者等于预设模长，则判定所述新的模型参数不为无效参数。

4.根据权利要求1所述的参数交换方法，其特征在于，所述算法模型为梯度下降算法模型，所述新的模型参数为梯度值；

所述判断所述新的模型参数是否为不能使得所述算法模型的最终模型参数得到预期优化的无效参数，具体包括：

判断所述新的模型参数是否接近最优模型参数，若接近所述最优模型参数，则判定所述新的模型参数为无效参数。

5.根据权利要求4所述的参数交换方法，其特征在于，所述判断所述新的模型参数是否接近所述算法模型的最终模型参数中，通过KKT条件判断所述新的模型参数是否接近所述算法模型的最终模型参数。

6.根据权利要求4所述的参数交换方法，其特征在于，还包括：若所述新的模型参数不接近所述最终模型参数，则判定所述新的模型参数不为无效参数。

7.根据权利要求1所述的参数交换方法，其特征在于，还包括：若所述新的模型参数不为无效参数，则向所述服务节点推送所述新的模型参数。

8.根据权利要求1所述的参数交换方法，其特征在于，所述根据训练数据计算得到新的模型参数，具体包括：

从所述服务节点拉取训练数据；

根据拉取的所述训练数据计算得到所述新的模型参数。

9.一种工作节点，应用于参数服务器系统，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8中任一所述的参数交换方法。

10.一种参数服务器系统，其特征在于，包括：服务节点组以及M个如权利要求9所述的工作节点；M为大于或者等于1的自然数；

所述M个工作节点均与所述服务节点组通信连接。