[发明专利]执行机器学习的分布式系统及其方法有效
申请号: | 201710764494.4 | 申请日: | 2017-08-30 |
公开(公告)号: | CN107609652B | 公开(公告)日: | 2019-10-25 |
发明(设计)人: | 陈雨强;杨强;戴文渊;焦英翔;涂威威;石光川 | 申请(专利权)人: | 第四范式(北京)技术有限公司 |
主分类号: | G06N20/00 | 分类号: | G06N20/00 |
代理公司: | 北京铭硕知识产权代理有限公司 11286 | 代理人: | 徐璐璐;曾世骁 |
地址: | 100085 北京市海淀区上*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 提供了一种执行机器学习的分布式系统及其方法,所述系统包括:多个计算装置,其中,每个计算装置被配置为针对各自的数据记录来执行数据流式计算,其中,所述数据流式计算表示为一个或多个有向无环图;参数存储器,用于维护机器学习模型的参数,其中,在执行训练机器学习模型的数据流式计算时,计算装置利用从参数存储器获取的参数来针对各自的数据记录执行关于机器学习模型训练的运算,并且,参数存储器根据计算装置的运算结果来更新所述参数;并且/或者,在执行利用机器学习模型进行预估的数据流式计算时,计算装置利用从参数存储器获取的参数来针对各自的数据记录执行关于机器学习模型预估的运算。由此,可减少机器学习的运算开销。 | ||
搜索关键词: | 执行 机器 学习 分布式 系统 及其 方法 | ||
【主权项】:
1.一种执行机器学习的分布式系统,包括:多个计算装置,其中,每个计算装置被配置为针对各自的数据记录来执行关于机器学习模型的数据流式计算,其中,所述数据流式计算表示为一个或多个由处理步骤组成的有向无环图,每个有向无环图对应于单个机器学习模型,不同有向无环图对应于一种机器学习算法流程的多配置运算或多种机器学习算法流程;参数存储器,用于维护机器学习模型的参数;其中,在执行训练机器学习模型的数据流式计算时,计算装置利用从参数存储器获取的参数来针对各自的数据记录执行关于机器学习模型训练的运算,并且,参数存储器根据计算装置的运算结果来更新所述参数;并且/或者,在执行利用机器学习模型进行预估的数据流式计算时,计算装置利用从参数存储器获取的参数来针对各自的数据记录执行关于机器学习模型预估的运算;其中,所述参数存储器具有分布式参数服务器结构,对应于每个计算装置,存在相应的部分参数服务器;计算装置通过合并不同有向无环图中相同的处理步骤来执行数据流式计算;参数存储器按照键值对的形式来保存机器学习模型的参数;针对模型的多套配置或针对多个模型的具有相同键的键值对,采用一个键对应多个值的形式来保存相应的参数。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于第四范式(北京)技术有限公司,未经第四范式(北京)技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201710764494.4/,转载请声明来源钻瓜专利网。