[发明专利]分布式任务处理与异步模型训练系统、方法、设备及介质在审
申请号: | 202211091395.1 | 申请日: | 2022-09-07 |
公开(公告)号: | CN115562820A | 公开(公告)日: | 2023-01-03 |
发明(设计)人: | 张泽超;董建波;李豪 | 申请(专利权)人: | 阿里巴巴(中国)有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48;G06N3/04;G06N3/08 |
代理公司: | 北京太合九思知识产权代理有限公司 11610 | 代理人: | 张爱;刘戈 |
地址: | 310023 浙江省杭州市余杭*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本申请实施例提供一种分布式任务处理与异步模型训练系统、方法、设备及介质。针对由多个第一节点和多个第二节点组成的分布式任务处理系统,第一节点可以从多个第二节点获取所需的多个任务数据以执行任务,第二节点可以通过物理网卡向多个第一节点提供多个任务数据。在能够不依赖全局同步信息的情况下,对第二节点下发到物理网卡的多个任务数据进行调度规划,既通过控制并发数保证任务数据从第二节点到第一节点的传输速度,又通过多个第一节点的调度优先级调整各个任务数据的发送优先级,使得多个第二节点可以在同一发送窗口发送同一第一节点的任务数据,便于第一节点同步获取所需的多个任务数据,解决事务长尾问题,提升整体的任务处理效率。 | ||
搜索关键词: | 分布式 任务 处理 异步 模型 训练 系统 方法 设备 介质 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴(中国)有限公司,未经阿里巴巴(中国)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202211091395.1/,转载请声明来源钻瓜专利网。
- 上一篇:数据处理方法、装置及设备
- 下一篇:一种土地资源管理用测量设备