[发明专利]大数据的任务调度方法和系统

说明书

本发明公开了一种大数据的任务调度方法，其包括以下步骤：根据任务类型创建任务模板；选择任务模板以及任务调度服务编号创建任务，形成配置文件，创建的任务包括任务名称、任务内容以及任务执行周期，所述任务内容通过kv值的方式配置，通过kv文件格式建立任务之间的依赖关系；读取所述任务，生成任务实例，获取任务执行过程信息。本发明还公开了大数据的任务调度系统。本发明结合大数据场景调度、分配、执行及不同数据类型的独特特征，突出分类型、多触发、策略调起、血缘依赖等特点，进行大数据进行内部生态的构建，通过大数据任务调度，根据不同任务类型按照不同策略进行大数据任务调度管理。

技术领域

本发明涉及大数据任务调度管理技术领域，更具体的说，涉及一种大数据任务调度方法及系统。

背景技术

在大数据的业务应用中，随着业务指标的迭代，而使其日趋复杂化的时候，管理大数据的相关应用会变成一件头疼的事情，如：作业的依赖调度、任务的运行情况监控、异常问题的排查等，这些问题会使得我们日常的工作变得复杂。

在大数据分析系统中，有一些脚本或执行单元需要在特定的时间启动，有的甚至需要在某些条件符合后才进行，这种情况下只靠人工很难实现，一些系统也提供了一些定时任务的配置，但是这种配置管理起来比较麻烦，有些还必须要侵入到执行机的系统当中，带来很大的隐患。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种大数据的任务调度方法，其结合大数据场景调度、分配、执行及不同数据类型的独特特征，突出分类型、多触发、策略调起、血缘依赖等特点，进行大数据进行内部生态的构建，通过大数据任务调度，根据不同任务类型按照不同策略进行大数据任务调度管理。

本发明的目的之二在于提供一种大数据的任务调度系统，为了很好解决人工配置管理的问题，更多结合大数据场景调度、分配、执行及不同数据类型的独特特征，突出分类型、多触发、策略调起、血缘依赖等特点，进行大数据进行内部生态的构建，通过大数据任务调度，根据不同任务类型按照不同策略进行大数据任务调度管理。

本发明的目的之一采用如下技术方案实现：

一种大数据的任务调度方法，其包括以下步骤：

根据任务类型创建任务模板；

选择任务模板以及任务调度服务编号创建任务，形成配置文件，创建的任务包括任务名称、任务内容以及任务执行周期，所述任务内容通过kv值的方式配置，通过kv文件格式建立任务之间的依赖关系；

读取所述任务，生成任务实例，获取任务执行过程信息。

进一步地，所述根据任务类型创建任务模板，包括：

设置模板名称，或/和自动生成模板ID；

生成模板数据项，根据任务类型对每个模板数据项输入对应的数据项值及属性。

进一步地，所述选择任务模板以及任务调度服务编号创建任务，包括：

创建任务名称，选择调度类型和任务执行周期；

创建任务，根据任务类型选择任务模板，通过kv值的方式配置任务内容；通过kv文件格式建立任务之间的依赖关系。

进一步地，所述读取所述任务，生成任务实例，获取任务执行过程信息，包括：

根据所述任务实例生成任务执行列表；

对所述任务执行列表进行监控，当任务满足触发条件时，执行所述任务。

进一步地，所述根据所述任务实例生成任务执行列表，包括：

读取所述配置文件，获取任务检查的间隔时间和任务生成时间范围；