[发明专利]基于Airflow的数据计算调度方法

说明书

本发明公开了基于Airflow的数据计算调度方法，属于Airflow技术领域，包括以下步骤：步骤一：开始任务，生成树，任务实例并导出原始数据；步骤二：生成树，任务实例接着进行scheduler安排定时服务同时，Dag生成定义任务和依赖与scheduler扫描定时服务同时输入至所有任务存储在数据库中判断是否满足定时条件，当满足定时条件时解析模型；步骤三：当导出原始数据成功时向下进行数据计算1同时将数据存储到HDFS且HDFS获取数据。本发明具有强大的依赖关系设计和强大的拓展性并且允许触发任意的脚本，基础模块也被设计的非常容易拓展。

技术领域

本发明涉及一种计算调度方法，特别是涉及一种基于Airflow的数据计算调度方法，属于Airflow技术领域。

背景技术

Airflow是一个Airbnb的Workflow开源项目，Airflow即有向无环图DAGS，数据调度在电力系统中应用广泛，但是数据计算是一个复杂的过程，传统的数据调度方法无法进行扩展，并且没有自己的调度任务web监控服务，需要依赖其他程序才能进行，同时调度程序只能做到单一的对应。

发明内容

本发明的主要目的是为了解决现有技术的不足而提供基于Airflow的数据计算调度方法。

本发明的目的可以通过采用如下技术方案达到：

基于Airflow的数据计算调度方法，包括以下步骤：

步骤一：开始任务，生成树，任务实例并导出原始数据；

步骤二：生成树，任务实例接着进行scheduler安排定时服务同时，Dag生成定义任务和依赖与scheduler扫描定时服务同时输入至所有任务存储在数据库中判断是否满足定时条件，当满足定时条件时解析模型；

步骤三：当导出原始数据成功时向下进行数据计算1同时将数据存储到HDFS且HDFS获取数据，当导出原始数据失败时定时任务失败同时任务日志记录到源数据库中；

步骤四：当数据计算1成功时既向下进行数据计算2、数据计算3、数据计算4和数据计算5，又将数据计算1的计算结果保存到HDFS，及mpp；

步骤五：HDFS获取结果数据与数据计算2、数据计算3、数据计算4和数据计算5同时并行任务，同时将存储过程入库并数据存储至HDFS及Mpp。

优选的，完整架构包含以下组件：

(1)作业定义，包含在源代码控制中；

(2)一个丰富的命令行工具或者命令行接口用来测试、运行、回填、描述和清理你的Airflow的组成部件；

(3)一个web应用程序，用来浏览Airflow的定义、依赖项、进度、元数据和日志，Web服务器打包在Airflow里面并且是基于Python框架Flask构建；

(4)一个元数据仓库，通常是一个MySQL或者Postgres数据库，Airflow可以用它来记录任务作业状态和其他持久化的信息；

(5)一组工作节点，以分布式的方式运行作业的任务实例；

(6)调度程序，触发准备运行的任务实例；

(7)RBAC权限管理，高强度的对用户权限进行了划分，可以细致到页面上的每个页面、每个按钮和每个任务。

优选的，Airflow推动处理的工序：

(1)数据仓库；

(2)增长分析；

(3)试验；

(4)定向邮件；

(5)会话；