[发明专利]一种神经网络机器学习模型的训练方法及装置

权利要求书

1.一种神经网络机器学习模型的训练方法，应用于分布式计算框架中，该分布式计算框架包括多个计算节点，预先将训练数据切分成训练数据切片，且切分的切片数量和参与计算的计算节点的数量相同；其特征在于，包括：

计算节点获取训练数据切片，对本地模型参数进行训练；

计算节点将训练好的本地模型参数传输给参数服务器；

计算节点根据参数服务器返回的全局模型参数更新本地的本地模型参数，并继续对本地模型参数进行训练；

其中，每一个计算节点采用独立的进程进行计算，每一个计算节点的所述本地模型参数是独立的；所述参数服务器返回的全局模型参数的计算方式如下：利用逐块模型更新滤波分布式算法，对来自不同进程的所有本地模型参数求平均，获得当前更新周期内所有进程共同训练出的平均模型参数；计算所述参数服务器自身存储的全局模型参数和获得的平均模型参数的差值，作为周期梯度；将梯度冲量以周期冲量率为权重累加到周期梯度上；以周期学习率为步长，将得到的周期梯度更新至全局模型参数，并将周期梯度累加在梯度冲量中。

2.根据权利要求1所述的训练方法，其特征在于，所述更新本地的本地模型参数之后，所述继续对本地模型参数的训练之前，还包括：

利用牛顿动量方法更新所述本地模型参数中已知的历史梯度。

3.根据权利要求1或2所述的训练方法，其特征在于，当到达预先设置的更新周期时，所述计算节点执行所述将训练好的本地模型参数传输给参数服务器的步骤。

4.根据权利要求1或2所述的训练方法，其特征在于，所述对本地模型参数进行训练包括：

利用所述训练数据切片对所述本地模型参数进行训练。

5.根据权利要求4所述的训练方法，其特征在于，每个所述进程采用相同或不同的优化算法训练所述本地模型参数。

6.一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述权利要求1~权利要求5任一项所述的神经网络机器学习模型的训练方法。

7.一种用于实现神经网络机器学习模型的训练的装置，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：获取训练数据切片，对来自不同计算节点上报的本地模型参数进行训练；将训练好的本地模型参数传输给参数服务器；根据参数服务器返回的全局模型参数更新本地的本地模型参数，并继续对本地模型参数进行训练；

其中，所述来自不同计算节点上报的本地模型参数是采用不同的进程进行计算得到的，是独立的；所述参数服务器返回的全局模型参数的计算方式如下：利用逐块模型更新滤波分布式算法，对来自不同进程的所有本地模型参数求平均，获得当前更新周期内所有进程共同训练出的平均模型参数；计算所述参数服务器自身存储的全局模型参数和获得的平均模型参数的差值，作为周期梯度；将梯度冲量以周期冲量率为权重累加到周期梯度上；以周期学习率为步长，将得到的周期梯度更新至全局模型参数，并将周期梯度累加在梯度冲量中。

8.一种神经网络机器学习模型的训练方法，其特征在于，包括：参数服务器获取来自不同计算节点上报的本地模型参数；

利用获得的本地模型参数计算梯度冲量并更新全局模型参数；

将更新后的全局模型参数传输给各计算节点；

其中，所述来自不同计算节点上报的本地模型参数是采用不同的进程进行计算得到的，是独立的；所述利用获得的本地模型参数计算梯度冲量并更新全局模型参数包括：利用逐块模型更新滤波分布式算法，对来自不同进程的所有本地模型参数求平均，获得当前更新周期内所有进程共同训练出的平均模型参数；计算所述参数服务器自身存储的全局模型参数和获得的平均模型参数的差值，作为周期梯度；将梯度冲量以周期冲量率为权重累加到周期梯度上；以周期学习率为步长，将得到的周期梯度更新至全局模型参数，并将周期梯度累加在梯度冲量中。

9.根据权利要求8所述的训练方法，其特征在于，所述参数服务器使用队列收集来自所述计算节点的若干进程的本地模型参数。