[发明专利]一种基于airflow和yarn的任务调度方法、装置及介质有效
| 申请号： | 201910900859.0 | 申请日： | 2019-09-23 |
| 公开（公告）号： | CN110673939B | 公开（公告）日： | 2021-12-28 |
| 发明（设计）人： | 洪嘉凯;巫朝星;陈旺明;林智辉;郑旭 | 申请（专利权）人： | 汉纳森（厦门）数据股份有限公司 |
| 主分类号： | G06F9/48 | 分类号： | G06F9/48 |
| 代理公司： | 厦门福贝知识产权代理事务所(普通合伙) 35235 | 代理人： | 陈远洋 |
| 地址： | 361000 福建省厦门市厦*** | 国省代码： | 福建;35 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种基于airflow和yarn的任务调度方法、装置及介质。本发明确定一组任务中任务之间的依赖关系、该项任务最早能执行的时间和每个任务必须结束的截止时间，并动态设置每个任务的允许运行的时间范围，并生成该任务的python文件，利用爬虫爬取该组任务的所有任务的运行情况，并生成资源叠加图和网络甘特图，基于资源叠加图和网络甘特图调整任务的执行顺序。本发明通过统计任务的执行时间和计算资源内存占用，结合关键路径分析法和系统计算资源的实际使用情况，使用资源叠加图和网络甘特图对任务的执行顺序进行自动优化，从而使得任务总的执行时间自动优化，降低忙时资源抢占，提高闲时资源利用率，并提出了任务移动的具体条件。 | ||
| 搜索关键词： | 一种 基于 airflow yarn 任务 调度 方法 装置 介质 | ||
【主权项】：
1.一种基于airflow和yarn的任务调度方法，其特征在于，该方法包括：/n确定步骤，确定一组任务中的一项任务task
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于汉纳森（厦门）数据股份有限公司，未经汉纳森（厦门）数据股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910900859.0/，转载请声明来源钻瓜专利网。
