[发明专利]多学习主体并行训练模型的方法、装置和系统

说明书

本发明涉及一种多学习主体并行训练模型的方法、装置和系统。所述方法包括以下步骤：通过单台机器中的多个训练的学习主体各自读取样本；在同一时刻一个训练的学习主体从训练模型中获取当前的参数值；根据所述当前的参数值对读取的样本进行训练得到新的参数值；将所述新的参数值更新到所述训练模型中，所述训练模型中保存一个参数值。上述多学习主体并行训练模型的方法、装置和系统，因模型只保存一个参数值，它的最新状态所有学习主体都能访问，任何学习主体更新了模型的状态，随后读取模型状态的学习主体都能看到最新的更新，大大减少了由于模型不共享，不同学习主体看到的模型状态有差异带来的影响，训练过程中，模型可以收敛很快。

技术领域

本发明涉及数据处理领域，特别是涉及一种多学习主体并行训练模型的方法、装置和系统。

背景技术

在机器学习领域，很多机器学习需要进行建模，即建立学习模型。在训练过程中，模型的结构固定，但是模型节点内和节点之间连接边上的权重需要通过训练过程来调整直到收敛点。节点内和节点间的权重被称为参数。很多机器学习算法属于多次迭代优化算法，模型训练过程中的每个迭代主要包括以下步骤：随机取一个或一批样本，根据当前模型的状态，给出模型对该样本的预测；根据预测值和样本的期望输出，计算出如何对模型状态进行调整，模型状态即指模型中各个参数的值。

一般采用一台机器利用单线程的方式根据模型状态做预测，随后根据残差调整模型状态。随着大数据时代的来临，训练样本越来越多，模型规模越来越大，所以计算代价也随着变大，此时采用单线程训练模型的方式，训练过程太慢，如在语音识别、图像分类等领域，训练一个模型可能需要数月或几年的时间，在实际中无法接受如此长的训练时间。

随着hadoop和Spark的成熟，很多公司也采用它们作为基础平台来训练机器学习模型。常用的方法是有一个主控角色，还有多个工作者，在一次迭代起始时，主控角色将最新模型分发到所有工作者上，工作者读取训练数据，独自更新它所维护的模型实例，然后在迭代结束时，主控角色收集多份模型，将其中的参数取平均化作为每个参数的最新值，即得到最新的模型状态。该方法的缺点时，一个迭代全局同步一次模型，造成模型收敛慢，对于非凸的优化问题，较易导致训练过程发散而使得训练作业失败。

发明内容

基于此，有必要针对传统的模型训练方法收敛慢的问题，提供一种多学习主体并行训练模型的方法，能提高收敛速度。

此外，还有必要提供一种多学习主体并行训练模型的装置和系统，能提高收敛速度。

一种多学习主体并行训练模型的方法，包括以下步骤：

通过单台机器中的多个训练的学习主体各自读取样本；

在同一时刻一个训练的学习主体从训练模型中获取当前的参数值；

根据所述当前的参数值对读取的样本进行训练得到新的参数值；

将所述新的参数值更新到所述训练模型中，所述训练模型中保存一个参数值。

一种多学习主体并行训练模型的装置，包括：

读取模块，用于通过单台机器中的多个训练的学习主体各自读取样本；

获取模块，用于在同一时刻一个训练的学习主体从训练模型的获取当前的参数值；

训练模块，用于根据所述当前的参数值对读取的样本进行训练得到新的参数值；

更新模块，用于将所述新的参数值更新到所述训练模型中，所述训练模型中保存一个参数值。

一种多学习主体并行训练模型的系统，所述系统包括单台机器，所述单台机器中的多个训练的学习主体各自读取样本，在同一时刻一个训练的学习主体从训练模型中获取当前的参数值，根据所述当前的参数值对读取的样本进行训练得到新的参数值，将所述新的参数值更新到所述训练模型中，所述训练模型中保存一个参数值。