[发明专利]针对数据记录执行机器学习的分布式系统及其方法有效
申请号: | 201710764131.0 | 申请日: | 2017-08-30 |
公开(公告)号: | CN107679625B | 公开(公告)日: | 2019-09-17 |
发明(设计)人: | 戴文渊;陈雨强;杨强;焦英翔;涂威威;石光川 | 申请(专利权)人: | 第四范式(北京)技术有限公司 |
主分类号: | G06N20/00 | 分类号: | G06N20/00 |
代理公司: | 北京铭硕知识产权代理有限公司 11286 | 代理人: | 曾世骁;张军 |
地址: | 100085 北京市海淀区上*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 提供了一种针对数据记录执行机器学习的分布式系统及其方法,所述系统包括:多个计算装置,其中,每个计算装置针对各自的数据记录来执行同样的关于机器学习的数据流式计算;参数服务器,用于维护机器学习模型的参数,其中,在执行训练机器学习模型的数据流式计算时,计算装置利用从参数服务器获取的参数来针对各自的数据记录执行同样的关于机器学习模型训练的运算,参数服务器根据计算装置的运算结果来更新所述参数;并且/或者,在执行利用机器学习模型进行预估的数据流式计算时,计算装置利用从参数服务器获取的参数来针对各自的数据记录执行同样的关于机器学习模型预估的运算。由此,可实现计算装置之间的同质化,减少网络传输开销。 | ||
搜索关键词: | 计算装置 数据记录 参数服务器 机器学习模型 数据流 机器学习 预估 分布式系统 运算 网络传输 维护机器 训练机器 运算结果 同质化 学习 更新 | ||
【主权项】:
1.一种用于针对数据记录执行机器学习的分布式系统,包括:多个计算装置,其中,每个计算装置被配置为针对各自的数据记录来执行同样的关于机器学习的数据流式计算;参数服务器,用于维护机器学习模型的参数;其中,在执行训练机器学习模型的数据流式计算时,计算装置利用从参数服务器获取的参数来针对各自的数据记录执行同样的关于机器学习模型训练的运算,并且,参数服务器根据计算装置的运算结果来更新所述参数;并且/或者,在执行利用机器学习模型进行预估的数据流式计算时,计算装置利用从参数服务器获取的参数来针对各自的数据记录执行同样的关于机器学习模型预估的运算;其中,所述参数服务器具有分布式结构,对应于每个计算装置,存在相应的部分参数服务器;所述数据流式计算表示为至少一个由处理步骤组成的有向无环图,其中,不同有向无环图对应于一种机器学习算法流程的多配置运算或多种机器学习算法流程,计算装置通过合并不同有向无环图中相同的处理步骤来执行数据流式计算;当计算装置与参数服务器之间需要同时交互模型的两种以上配置的相关参数时,在传输过程中进行相同键的合并。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于第四范式(北京)技术有限公司,未经第四范式(北京)技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201710764131.0/,转载请声明来源钻瓜专利网。
- 上一篇:一种透镜系统、鱼眼镜头及图像采集装置
- 下一篇:一种掉电保持电路及方法