[发明专利]一种ETL在集群上的任务负载均衡方法在审
申请号: | 201811226888.5 | 申请日: | 2018-10-22 |
公开(公告)号: | CN109408236A | 公开(公告)日: | 2019-03-01 |
发明(设计)人: | 陈志雄;刘世荣;赖清鑫 | 申请(专利权)人: | 福建南威软件有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50 |
代理公司: | 福州元创专利商标代理有限公司 35100 | 代理人: | 蔡学俊 |
地址: | 350003 福建省福州市鼓楼*** | 国省代码: | 福建;35 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明涉及一种ETL在集群上的任务负载均衡方法,包括以下步骤:步骤S1:计算待分配任务的预测消耗资源;步骤S2:通过任务调度中心监控节点的资源使用情况;步骤S3:计算集群节点的有效空闲资源;步骤S4:判别待分配任务类型,若为单个任务进行步骤S5,若为任务组则进行步骤S6;步骤S5:通过任务调度中心对单个任务进行分配;步骤S6:通过任务调度中心对任务组进行分配;步骤S7:任务调度中心持续执行步骤S4‑S6,将任务队列中的任务分配到有效空闲资源足够的节点,完成集群的任务分配。本发明可以实现ETL集群内任务分配的负载均衡。 | ||
搜索关键词: | 任务调度中心 集群 任务分配 空闲资源 任务负载 分配 任务组 均衡 负载均衡 计算集群 监控节点 任务队列 任务类型 资源使用 消耗 预测 | ||
【主权项】:
1.一种ETL在集群上的任务负载均衡方法,其特征在于,包括以下步骤:步骤S1:计算待分配任务的预测消耗资源;步骤S2:通过任务调度中心监控节点的资源使用情况;步骤S3:计算集群节点的有效空闲资源;步骤S4:判别待分配任务类型,若为单个任务进行步骤S5,若为任务组则进行步骤S6;步骤S5:通过任务调度中心对单个任务进行分配;步骤S6:通过任务调度中心对任务组进行分配;步骤S7:任务调度中心持续执行步骤S4‑S6,将任务队列中的任务分配到有效空闲资源足够的节点,完成集群的任务分配。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于福建南威软件有限公司,未经福建南威软件有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201811226888.5/,转载请声明来源钻瓜专利网。