[发明专利]多学习主体并行训练模型的方法、装置和系统

权利要求书

1.一种多学习主体并行训练模型的方法，包括以下步骤：

通过单台机器中的多个训练的学习主体各自读取样本；

在同一时刻一个训练的学习主体从训练模型中获取当前的参数值；

根据所述当前的参数值对读取的样本进行训练得到新的参数值；

将所述新的参数值更新到所述训练模型中，所述训练模型中保存所述新的参数值；

所述单台机器内包括所述多个训练的学习主体、广播模型差的学习主体、收集模型差的学习主体，所述单台机器内设有工作副本和基础副本，所述工作副本用于存储更新后的参数值；所述基础副本用于存储更新前的参数值；

所述方法还包括：

通过所述收集模型差的学习主体获取广播的模型差；

将所述工作副本中存储的参数值和基础副本中存储的参数值均加上获取的模型差得到更新后工作副本中存储的参数值和基础副本中存储的参数值；

通过所述训练的学习主体按照更新后工作副本中存储的参数值进行训练，并将更新后工作副本中存储的参数值和基础副本中存储的参数值之差作为自身的模型差，通过所述广播模型差的学习主体将自身的模型差广播出去；

将更新后的基础副本中存储的参数值再更新为更新后工作副本中存储的参数值。

2.根据权利要求1所述的方法，其特征在于，无模型服务器的对等网络环境包括网络连接的多台机器，所述单台机器作为一个训练机器，所述学习主体为线程或进程。

3.根据权利要求2所述的方法，其特征在于，所述线程为多核中央处理器上的物理线程，或者为基于英特尔phi协处理器之上的多线程，或者为虚拟机提供的用户态线程。

4.一种多学习主体并行训练模型的方法，包括以下步骤：

通过单台机器中的多个训练的学习主体各自读取样本；

在同一时刻一个训练的学习主体从训练模型中获取当前的参数值；

根据所述当前的参数值对读取的样本进行训练得到新的参数值；

将所述新的参数值更新到所述训练模型中，所述训练模型中保存所述新的参数值；

所述单台机器内包括所述多个训练的学习主体、拉取参数的学习主体、广播模型差的学习主体，且单台机器内设有工作副本和基础副本；所述基础副本用于存储更新前的参数值；所述工作副本用于存储更新后的参数值；所述模型服务器用于存储最新的参数值；

所述方法还包括：

通过所述拉取参数的学习主体从模型服务器获取最新的参数值；

将所述工作副本中存储的参数值更新为将工作副本中存储的参数值加上从模型服务器获取的参数值再减去基础副本中存储的参数值所得到的值，以及将基础副本中存储的参数值更新为从模型服务器获取的参数值；

根据更新后所述工作副本中存储的参数值进行训练；

将所述基础副本内存储的参数值更新为更新后工作副本中存储的参数值；

将更新前工作副本中的参数值与更新前基础副本中的参数值之差作为模型差通过所述广播模型差的学习主体发送给模型服务器，以使所述模型服务器根据所述模型差调整自身所存储的参数值。

5.根据权利要求4所述的方法，其特征在于，存在模型服务器的环境包括与模型服务器网络连接的多台机器，所述单台机器作为一个训练机器，所述学习主体为线程或进程。

6.根据权利要求5所述的方法，其特征在于，所述线程为多核中央处理器上的物理线程，或者为基于英特尔phi协处理器之上的多线程，或者为虚拟机提供的用户态线程。