[发明专利]基于数仓任务和模型任务的页面配置的任务调度方法

权利要求书

1.基于数仓任务和模型任务的页面配置的任务调度方法，其特征在于包括如下步骤：

根据不同租户创建不同的调度实例装置，并初始化模板调度线；

调度实例基于airflow框架，能够实现个性化的页面配置的开发，使多个任务间的依赖关系在页面上进行配置；

根据被选任务的前置依赖任务的调度结果对被选任务进行调度，直至调度完所有需要进行调度的任务；

每个调度实例装置均由调度中心统一生成，具体：

租户根据自身权限，动态生成不同的调度线，调度线构成调度实例装置；调度线是指不同任务和不同任务间的依赖关系；

生成的调度实例装置在页面根据个性化的需求，进行任意任务结点和任务间依赖关系的修改，具体修改方式如下：

获取所述被选任务的前置依赖任务，按照其前置依赖任务对应的调度周期被调度之后得到的调度结果，根据获取到的调度结果对所述被选任务进行调度；

所述的被选任务的前置依赖任务为一个或多个；因此前置依赖任务的调度结果为一个或多个；进一步的，被选任务的前置依赖任务调度不一定成功；

所述根据不同租户创建不同的调度实例装置，并初始化模板调度线，具体实现包括如下：

业务中心在新的租户进来时，会请求调度中心获取相应版本的调度实例装置，部署在以租户ID命名的不同文件夹下，用docker进行环境隔离；随后业务中心调用创建有向无环图DAG的接口，获取全依赖和模块线，根据新的租户自身的权限，点亮生成权限内对应的调度线。

2.根据权利要求1所述的基于数仓任务和模型任务的页面配置的任务调度方法，其特征在于所述调度实例在基于airflow框架的基础上，进行个性化的配置页面的开发，使多个任务间的依赖关系在页面上进行配置，包括：

在页面可配置点、点校验、边、图、全局和主机的配置信息，从而使修改结点、结点间的依赖关系和主机的ip用户名密码的操作更简单。

3.根据权利要求1或2所述的基于数仓任务和模型任务的页面配置的任务调度方法，其特征在于所述根据被选任务的前置依赖任务的调度结果对被选任务进行调度，直至调度完所有需要进行调度的任务：如果有多个满足调度条件的任务，将所述多个满足调度条件的任务均作为当前需要调度的任务，或者按照优先级在所述多个满足调度条件的任务中选择一个任务作为当前需要调度的任务。

4.根据权利要求3所述的基于数仓任务和模型任务的页面配置的任务调度方法使用的调度装置，其特征在于所述装置包括业务中心交互模块、配置中心交互模块、配置模块、调度模块

所述的业务中心交互模块，用于与业务中心进行交互，确保各个租户生成的调度装置的独立性以及初始调度线生成的便捷性，同时为调度装置的版本升级做了准备；

所述的配置中心交互模块，用于与配置中心进行交互，获取postgres数据库的连接信息和每个模块线对应的表名，用以点亮模块线；

所述的配置模块，用于根据所述页面，结合自身项目需求，对已有依赖关系进行修改，确定各个任务的前置依赖任务及后置依赖任务

所述的调度模块，根据所述被选任务的前置依赖任务的调度结果对所述被选任务进行调度，用于按照选择所述被选任务的方式及调度所述被选任务的方式处理所述被选任务的后置依赖任务及所有未调度的任务，直至调度完所有需要进行调度的任务；其中，调度任务执行一个远程连接工具命令，调用数据仓库或模型服务器上的具体任务；减轻本地服务器的压力，将任务分发出去执行，缓解资源不足的瓶颈。

5.根据权利要求4所述的基于数仓任务和模型任务的页面配置的任务调度方法使用的调度装置，其特征在于所述的配置中心交互模块具体实现如下：

当实例装置生成后，实例装置从redis获取配置中心的url；配置中心交互模块拿到配置中心的url并访问，获取postgres数据库的连接信息和每个模块线对应的表名，用以点亮模块线；最终被点亮的点为真结点，实行调度任务；未被点亮的点保留，作为假结点，不实行调度任务，真假结点在页面上根据颜色和任务类型的不同进行区分；点亮完毕后，则得到该租户权限下的完整调度线。