[发明专利]一种基于参数服务器异步更新Spark MLlib中线性分类模型参数的方法有效
申请号: | 202110560289.2 | 申请日: | 2021-05-21 |
公开(公告)号: | CN113342313B | 公开(公告)日: | 2023-04-18 |
发明(设计)人: | 李中正;王冬霞 | 申请(专利权)人: | 上海大学 |
主分类号: | G06F8/20 | 分类号: | G06F8/20;G06F8/70;G06N20/00 |
代理公司: | 上海上大专利事务所(普通合伙) 31205 | 代理人: | 何文欣 |
地址: | 200444*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种基于参数服务器异步更新Spark MLlib中线性分类模型参数的方法,结合Spark和参数服务器的特征,首先设置和分配Spark和参数服务器启动资源,然后启动服务器应用程序和Spark应用程序来执行相关操作。在服务器应用程序中,首先初始化执行环境和相关参数,然后接收来自Spark应用程序中Executor计算的梯度信息来更新模型参数。本发明通过引入参数服务器的方式,将线性分类模型参数划分到不同的服务节点中,并通过设置时钟的方式实现异步传输,服务节点只需获取部分工作节点的梯度信息即可对模型参数进行更新。本发明通过添加服务器节点来减轻Spark中Driver节点的计算负载,并通过异步传输方式来降低集群中慢节点对算法性能的影响。 | ||
搜索关键词: | 一种 基于 参数 服务器 异步 更新 spark mllib 线性 分类 模型 方法 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海大学,未经上海大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202110560289.2/,转载请声明来源钻瓜专利网。
- 上一篇:一种蓝牙通信方法、装置及可读存储介质
- 下一篇:一种温肾补阳的药物组合物