[发明专利]基于Airflow的分布式异步任务构建、调度系统及方法

说明书

本发明公开了一种基于Airflow的分布式异步任务调度系统及其工作方法，该系统包括：API Server服务模块，Caster任务构建分发模块，Airflow调度平台和数据存储模块DB。API Server服务模块用于；Caster任务构建分发模块用于渲染任务脚本；Airflow调度平台包括任务调度模块Scheduler、任务执行单元Worker、任务执行单元管理模块Flower和分布式任务队列Celery和可视化任务调度管理界面WebServer；数据存储模块DB分别连接Caster任务构建分发模块和Airflow调度平台，用于存储构建分发模块Caster和Airflow调度平台运行过程中生成的数据日志。本发明能够有效提升系统的可用性、伸缩性，容错性，保证系统的负载均衡。

技术领域

本发明属于数据处理技术领域，具体来说涉及一种基于Airflow的分布式异步任务构建、调度系统及其方法。

背景技术

近年来，随着分布式技术的发展以及微服务化架构的逐步演进，大量的计算机应用系统逐渐有单体架构逐渐演变为分布式、微服务架构；大规模或超大规模的分布式应用已经成为主流，而随着云计算逐步向大众生活渗透，中小规模的分布式应用也在各个领域开始广泛出现。无论是互联网应用或者企业级应用，都充斥着大量的批处理任务，任务调度可以说是所有系统都必须要依赖的一个中间系统；在实际业务开发过程中，很多时候我们无可避免的需要使用一些定时任务来解决问题。通常我们会使用Crontab或SpringCron等方案来实现定时任务。然而，随着应用复杂度的升高，定时任务数量增多且任务之间产生依赖关系时，定时任务的管理配置就会非常混乱，且整合机器资源也会异常困难，现有的任务调度平台已经不能满足业务系统的需求。因此，如何设计出一种新型的分布式异步任务调度方法，以克服上述问题，是本领域技术人员需要研究的方向。

发明内容

本发明的目的是提供一种基于Airflow的分布式异步任务调度系统，能够提升系统的可用性、伸缩性，容错性，保证系统的负载均衡。

其采用的技术方案如下：

一种基于Airflow的分布式异步任务调度系统，其包括：：API Server服务模块，Caster任务构建分发模块，Airflow调度平台和数据存储模块DB；

所述API Server服务模块用于接收创建任务请求、并从创建任务请求中解析出请求参数；所述Caster任务构建分发模块用于读取API Server服务模块生成的请求参数、渲染出对应的任务脚本并将该任务脚本发布至Airflow调度平台；所述Airflow调度平台包括任务调度模块Scheduler、任务执行单元Worker、任务执行单元管理模块Flower和分布式任务队列Celery和可视化任务调度管理界面WebServer；所述任务调度模块Scheduler用于定时轮询元数据库，对符合运行条件的任务脚本发起运行任务；所述分布式任务队列Celery用于监听任务调度模块Scheduler、领取运行任务形成异步任务队列；所述任务执行单元Worker用于接收Caster任务构建分发模块发布的任务脚本并监听分布式任务队列Celery、基于异步任务队列执行任务脚本；所述任务执行单元管理模块Flower用于监控任务执行单元WorkerNod；所述可视化任务调度管理界面WebServer用于实现用户与Airflow调度平台的可视化交互；所述数据存储模块DB分别连接Caster任务构建分发模块和Airflow调度平台，用于存储构建分发模块Caster和Airflow调度平台运行过程中生成的数据日志。

采用上述技术方案：通过将分布式集群技术运用于任务调度引擎中，实现支持多种任务类型的调度编排，并通过队列绑定Worker，实现调度特定任务到指定Worker节点上。保证特定资源环境隔离，实现资源环境合理利用，以及分布式集群部署。此外，借助Celery分布式队列，简化了Woker的水平扩展，提高任务执行效率和产出稳定性，并能实时监控集群各个Worker节点的资源状态信息并根据资源状态信息实时进行任务调度编排。