[发明专利]多学习主体并行训练模型的方法、装置和系统有效
| 申请号： | 201510367503.7 | 申请日： | 2015-06-26 |
| 公开（公告）号： | CN104980518B | 公开（公告）日： | 2018-11-23 |
| 发明（设计）人： | 郭志懋;金涬;李毅;邹永强;薛伟;肖磊 | 申请（专利权）人： | 深圳市腾讯计算机系统有限公司 |
| 主分类号： | H04L29/08 | 分类号： | H04L29/08;G06F9/455;G06F9/50;G06N5/02 |
| 代理公司： | 广州华进联合专利商标代理有限公司 44224 | 代理人： | 何平;邓云鹏 |
| 地址： | 518000 广东省深圳市南*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种多学习主体并行训练模型的方法、装置和系统。所述方法包括以下步骤：通过单台机器中的多个训练的学习主体各自读取样本；在同一时刻一个训练的学习主体从训练模型中获取当前的参数值；根据所述当前的参数值对读取的样本进行训练得到新的参数值；将所述新的参数值更新到所述训练模型中，所述训练模型中保存一个参数值。上述多学习主体并行训练模型的方法、装置和系统，因模型只保存一个参数值，它的最新状态所有学习主体都能访问，任何学习主体更新了模型的状态，随后读取模型状态的学习主体都能看到最新的更新，大大减少了由于模型不共享，不同学习主体看到的模型状态有差异带来的影响，训练过程中，模型可以收敛很快。 | ||
| 搜索关键词： | 学习 主体 并行 训练 模型 方法 装置 系统 | ||
【主权项】：
1.一种多学习主体并行训练模型的方法，包括以下步骤：通过单台机器中的多个训练的学习主体各自读取样本；在同一时刻一个训练的学习主体从训练模型中获取当前的参数值；根据所述当前的参数值对读取的样本进行训练得到新的参数值；将所述新的参数值更新到所述训练模型中，所述训练模型中保存所述新的参数值；所述单台机器内包括所述多个训练的学习主体、广播模型差的学习主体、收集模型差的学习主体，所述单台机器内设有工作副本和基础副本，所述工作副本用于存储更新后的参数值；所述基础副本用于存储更新前的参数值；所述方法还包括：通过所述收集模型差的学习主体获取广播的模型差；将所述工作副本中存储的参数值和基础副本中存储的参数值均加上获取的模型差得到更新后工作副本中存储的参数值和基础副本中存储的参数值；通过所述训练的学习主体按照更新后工作副本中存储的参数值进行训练，并将更新后工作副本中存储的参数值和基础副本中存储的参数值之差作为自身的模型差，通过所述广播模型差的学习主体将自身的模型差广播出去；将更新后的基础副本中存储的参数值再更新为更新后工作副本中存储的参数值。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于深圳市腾讯计算机系统有限公司，未经深圳市腾讯计算机系统有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201510367503.7/，转载请声明来源钻瓜专利网。
