[发明专利]一种基于Airflow的模型训练调度方法及装置在审
申请号: | 202111150028.X | 申请日: | 2021-09-29 |
公开(公告)号: | CN113837697A | 公开(公告)日: | 2021-12-24 |
发明(设计)人: | 阚向阳;杨经海 | 申请(专利权)人: | 深圳云路信息科技有限责任公司 |
主分类号: | G06Q10/08 | 分类号: | G06Q10/08;G06Q10/06 |
代理公司: | 北京市浩东律师事务所 11499 | 代理人: | 孙莉 |
地址: | 518000 广东省深圳市前海深港合作区前*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种基于Airflow的模型训练调度方法及装置,其中该方法包括:确定多个模型训练任务;确定多个服务器节点任务;确定每一所述服务器节点任务对应的子级工作流;每一所述子级工作流中均包括有同一个模型调度函数;所述模型调度函数用于在所述子级工作流存在处理空闲时,为所述子级工作流从所述多个模型训练任务中确定出当前可进行的目标模型训练任务,并根据所述目标模型训练任务为所述子级工作流生成对应的训练节点任务;执行所有所述服务器节点任务对应的子级工作流以完成所述多个模型训练任务。可见,本发明能够在任一工作流存在处理空闲时为其分配模型训练任务,有利于充分利用算法资源,提高模型调度的灵活性。 | ||
搜索关键词: | 一种 基于 airflow 模型 训练 调度 方法 装置 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳云路信息科技有限责任公司,未经深圳云路信息科技有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202111150028.X/,转载请声明来源钻瓜专利网。
- 同类专利
- 专利分类
G06 计算;推算;计数
G06Q 专门适用于行政、商业、金融、管理、监督或预测目的的数据处理系统或方法;其他类目不包含的专门适用于行政、商业、金融、管理、监督或预测目的的处理系统或方法
G06Q10-00 行政;管理
G06Q10-02 .预定,例如用于门票、服务或事件的
G06Q10-04 .预测或优化,例如线性规划、“旅行商问题”或“下料问题”
G06Q10-06 .资源、工作流、人员或项目管理,例如组织、规划、调度或分配时间、人员或机器资源;企业规划;组织模型
G06Q10-08 .物流,例如仓储、装货、配送或运输;存货或库存管理,例如订货、采购或平衡订单
G06Q10-10 .办公自动化,例如电子邮件或群件的计算机辅助管理
G06Q 专门适用于行政、商业、金融、管理、监督或预测目的的数据处理系统或方法;其他类目不包含的专门适用于行政、商业、金融、管理、监督或预测目的的处理系统或方法
G06Q10-00 行政;管理
G06Q10-02 .预定,例如用于门票、服务或事件的
G06Q10-04 .预测或优化,例如线性规划、“旅行商问题”或“下料问题”
G06Q10-06 .资源、工作流、人员或项目管理,例如组织、规划、调度或分配时间、人员或机器资源;企业规划;组织模型
G06Q10-08 .物流,例如仓储、装货、配送或运输;存货或库存管理,例如订货、采购或平衡订单
G06Q10-10 .办公自动化,例如电子邮件或群件的计算机辅助管理