[发明专利]基于Airflow的数据计算调度方法在审
| 申请号： | 201911005641.5 | 申请日： | 2019-10-22 |
| 公开（公告）号： | CN110764747A | 公开（公告）日： | 2020-02-07 |
| 发明（设计）人： | 钱斌;肖勇;郑楷洪;蔡梓文;周密 | 申请（专利权）人： | 南方电网科学研究院有限责任公司;中国南方电网有限责任公司电网技术研究中心 |
| 主分类号： | G06F8/30 | 分类号： | G06F8/30;G06F16/27 |
| 代理公司： | 31253 上海精晟知识产权代理有限公司 | 代理人： | 安曼 |
| 地址： | 510670 广东*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了基于Airflow的数据计算调度方法，属于Airflow技术领域，包括以下步骤：步骤一：开始任务，生成树，任务实例并导出原始数据；步骤二：生成树，任务实例接着进行scheduler安排定时服务同时，Dag生成定义任务和依赖与scheduler扫描定时服务同时输入至所有任务存储在数据库中判断是否满足定时条件，当满足定时条件时解析模型；步骤三：当导出原始数据成功时向下进行数据计算1同时将数据存储到HDFS且HDFS获取数据。本发明具有强大的依赖关系设计和强大的拓展性并且允许触发任意的脚本，基础模块也被设计的非常容易拓展。 | ||
| 搜索关键词： | 定时服务 定时条件 数据计算 原始数据 生成树 导出 获取数据 基础模块 解析模型 任务存储 数据存储 依赖关系 拓展性 脚本 触发 数据库 扫描 调度 拓展 成功 | ||
【主权项】：
1.基于Airflow的数据计算调度方法，其特征在于，包括以下步骤：/n步骤一：开始任务，生成树，任务实例并导出原始数据；/n步骤二：生成树，任务实例接着进行scheduler安排定时服务同时，Dag生成定义任务和依赖与scheduler扫描定时服务同时输入至所有任务存储在数据库中判断是否满足定时条件，当满足定时条件时解析模型；/n步骤三：当导出原始数据成功时向下进行数据计算1同时将数据存储到HDFS且HDFS获取数据，当导出原始数据失败时定时任务失败同时任务日志记录到源数据库中；/n步骤四：当数据计算1成功时既向下进行数据计算2、数据计算3、数据计算4和数据计算5，又将数据计算1的计算结果保存到HDFS，及mpp；/n步骤五：HDFS获取结果数据与数据计算2、数据计算3、数据计算4和数据计算5同时并行任务，同时将存储过程入库并数据存储至HDFS及Mpp。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于南方电网科学研究院有限责任公司;中国南方电网有限责任公司电网技术研究中心，未经南方电网科学研究院有限责任公司;中国南方电网有限责任公司电网技术研究中心许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201911005641.5/，转载请声明来源钻瓜专利网。
