[发明专利]airflow调度系统作业调度方法及装置

说明书

本发明提供一种airflow调度系统作业调度方法及装置，该方法包括：若监测到作业停止，则获取每个作业的运行标的时间，并存储至数据库；每隔预设周期从数据库中读取每个作业的运行标的时间；若作业的运行标的时间早于或等于当前时刻，则创建作业的运行实例，否则跳过对应的作业，直至遍历所有存在运行标的时间的作业。该方法通过对作业的停止状态进行监测，可及时发现因资源不足导致停止执行的作业，从而该不受资源阈值的限制。另外，通过周期轮询每个作业的运行标的时间，与当前时刻进行比较，作为作业执行的依据，从而确保作业按预期时间执行，还能够避免非必要的初始化，从而保证作业的准确执行，大大提高了大数据平台的调度效率。

技术领域

本发明涉及大数据领域，尤其涉及一种airflow调度系统作业调度方法及装置。

背景技术

随着大数据的发展，迫切需要一个调度系统来离线对大数据的数据进行数据分析及数据清洗，airflow应运而生。作为apache开源项目，airflow的使用越来越广泛，越来越多的企业或机构选择airflow作为离线处理的调度系统。然而，由于airflow刚孵化不久，存在一些不足之处。

假如，一个作业因一些特殊原因，比如由于资源限制，整个调度系统的资源达到阈值，导致该作业暂时无法解析执行。过了该作业应该执行的时间后，该作业才获得资源去执行，此时动态开始时间超过该了该作业实际应该执行的时间，那么该作业不会执行。

发明内容

针对现有技术存在的问题，本发明提供一种airflow调度系统作业调度方法及装置。

本发明提供一种airflow调度系统作业调度方法，包括：

若监测到作业停止，则获取每个作业的运行标的时间，并存储至数据库；每隔预设周期，从数据库中读取每个作业的运行标的时间；若作业的运行标的时间早于或等于当前时刻，则创建对应作业的运行实例，否则跳过对应的作业，直至遍历所有存在运行标的时间的作业。

根据本发明一个实施例的airflow调度系统作业调度方法，所述获取每个作业的运行标的时间，包括：

根据作业的调度周期和当前时刻，或者待执行时刻和当前时刻，确定作业的运行标的时间。

根据本发明一个实施例的airflow调度系统作业调度方法，所述获取每个作业的运行标的时间，包括：

为每个作业开启一个file process进程，分别处理每个作业文件，并判断每个作业是否处于停止状态；若作业处于停止状态，则获取作业的运行标的时间。

根据本发明一个实施例的airflow调度系统作业调度方法，所述每隔预设周期，从数据库中读取每个作业的运行标的时间，包括：

通过scheduler process进程，每隔预设周期从数据库中获取每个作业的运行标的时间。

根据本发明一个实施例的airflow调度系统作业调度方法，根据作业的调度周期和当前时刻，确定作业的运行标的时间，包括：将未来时间离当前时刻最近的待执行时刻作为作业的运行标的时间，其中，每个相邻待执行时刻的间隔为一个调度周期。

根据本发明一个实施例的airflow调度系统作业调度方法，所述创建对应作业的运行实例之后，还包括：按照作业的调度周期，进行作业运行实例的创建。

本发明还提供一种airflow调度系统作业调度装置，包括：

标的时间生成模块，用于若监测到作业停止，则获取每个作业的运行标的时间，并存储至数据库；标的时间读取模块，用于每隔预设周期，从数据库中读取每个作业的运行标的时间；作业调度确定模块，用于若作业的运行标的时间早于或等于当前时刻，则创建对应作业的运行实例，否则跳过对应的作业，直至遍历所有存在运行标的时间的作业。