[发明专利]一种检查调度任务前置条件的方法及装置

说明书

本发明实施例公开了一种检查调度任务前置条件的方法和装置。该方法包括：S101、如果监测到系统当前时间达到当前调度任务前置条件的首次检查时间，则启动执行进程；S102、检查当前调度任务的前置条件是否满足当前调度任务的执行条件，若是，则执行步骤S103；若否，则执行步骤S104；S103、对当前调度任务进行计算处理，之后结束所述执行进程；S104、如果系统当前时间早于当前调度任务前置条件的最后检查时间，则在设定时间内休眠所述执行进程，之后执行步骤S102。利用该方法在调度系统中实现调度任务的前置条件检查，使调度系统能够满足基于特定前置条件实现对批量计算的任务调度的需求，从而提高调度系统的调度执行效率。

技术领域

本发明实施例涉及调度系统批量处理技术，尤其涉及一种检查调度任务前置条件的方法及装置。

背景技术

随着大数据的兴起，互联网公司的业务数据量逐年上升，因此各大互联网公司都在内部推行对大数据挖掘分析技术，并且针对于核心业务系统建设数据仓库。实质上，数据仓库是一个环境，不是一件产品，向用户提供用于决策支持的当前及历史数据。在数据仓库的建设中，基于数据仓库的计算分为两种：一种是即席计算，另一种是批量计算。即席计算，指由工作人员根据当时执行查询或计算的实际情况和实际背景实时写出的SQL语句或者计算算法，这种计算具有多变性、即时性的特征；批量计算，指每次执行的计算都大致相同，唯一不同就是某些特定条件的查询或者计算内容不一样，但整体逻辑仍然一致。

目前对于数据仓库的计算，采用较多的仍是批量计算，对于批量计算，所采用的方式为：通过调度系统进行定时或者以固定频率来调度执行计算任务。常见的批处理调度系统主要有Azkaban批处理调度系统和Ozzie工作流调度系统。对于批处理调度系统而言，其执行计算任务调度的方式目前只有两种：定时调度和固定频率调度。但在批处理调度系统的实际使用过程中，通常会遇到，如果某个计算任务满足一些前置条件，就需要立即调度并执行该任务，不能以固定的时间或固定频率再去调度执行。

对于满足前置条件即可进行任务调度的情况，目前主流的调度系统并不具备对调度任务的前置条件进行检查的功能，这样仍只能以定时调度和固定频率调度的方式来执行任务调度，既耽误调度任务的执行效率，又影响调度系统工作效率。

发明内容

有鉴于此，本发明提供一种检查调度任务前置条件的方法及装置，以支持调度系统对调度任务前置条件的检查，从而提高调度系统的调度执行效率。

一方面，本发明实施例提供了一种检查调度任务前置条件的方法，包括：

S101、如果监测到系统当前时间达到当前调度任务前置条件的首次检查时间，则启动执行进程；

S102、检查当前调度任务的前置条件是否满足当前调度任务的执行条件，若是，则执行步骤S103；若否，则执行步骤S104；

S103、对当前调度任务进行计算处理，之后结束所述执行进程；

S104、如果系统当前时间早于当前调度任务前置条件的最后检查时间，则在设定时间内休眠所述执行进程，之后执行步骤S102。

另一方面，本发明实施例提供了一种检查调度任务前置条件的装置，集成于调度系统，包括：

执行进程启动模块，用于当监测到系统当前时间达到当前调度任务前置条件的首次检查时间时，启动执行进程；

前置条件检查模块，用于检查当前调度任务的前置条件是否满足所述调度任务的执行条件，若是，则跳转至调度任务执行模块；若否，则跳转至检查时间判断模块；

调度任务执行模块，用于对当前调度任务进行计算处理，之后结束所述执行进程；

检查时间判断模块，用于当系统当前时间早于当前调度任务前置条件的最后检查时间时，在设定时间内休眠所述执行进程，之后跳转至前置条件检查模块。