[发明专利]大数据平台的任务调度方法

说明书

本发明公开了一种大数据平台的任务调度方法，其包括：控制终端获取用户输入的任务参数、根据任务参数生成目标任务实例和通知消息，目标任务实例对应通知消息；数据库接收目标任务实例，并将目标任务实例写入至任务例表；包括多个任务代理节点的任务代理集群接收到通知消息后，任务代理节点从数据库的任务列表中读取与通知消息对应的目标任务实例，并将目标任务实例下发至任务运行集群；任务运行集群接收到目标任务实例后，运行目标任务实例。本发明生成目标任务实例并将该目标任务实例写入数据库的写操作，与任务代理节点从数据库中读取目标任务实例的读操作，两者独立，以致读写分离，从而避免了读操作与写操作之间的相互影响，提升了处理速率。

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种大数据平台的任务调度方法。

背景技术

随着互联网技术以及信息技术的发展，大量的信息被数据化，产生了无法用常规工具捕捉、管理和处理的海量数据集合，这种数据集合也称为大数据。

大数据具有海量的数据规模以及多样的数据类型，使用大数据系统对大数据加工处理，挖掘出海量数据的数据价值。为了更好地对大数据进行处理分析，可以对大数据的处理任务进行相应的调度，保证大数据任务的高效运行。

大数据系统包括调度大数据任务的任务调度系统，现有的大数据任务调度系统一般是基于工作流来管理任务。通过设置任务之间的依赖关系，构建任务的有向无环图模型，以完成对大数据任务的调度管理。但是，现有的大数据任务调度系统的数据库的读操作与写操作之间存在相互影响，从而影响了大数据任务调度系统的处理速率。

发明内容

本发明的目的在于提供一种大数据平台的任务调度方法，以解决现有的大数据任务调度系统的处理速率。

为了解决上述问题，本发明提供了一种大数据平台的任务调度方法，其包括如下步骤：

控制终端获取用户输入的任务参数、根据任务参数生成目标任务实例和通知消息，目标任务实例对应通知消息；

数据库接收目标任务实例，并将目标任务实例写入至任务例表；

包括多个任务代理节点的任务代理集群接收到通知消息后，任务代理节点从数据库的任务列表中读取与通知消息对应的目标任务实例，并将目标任务实例下发至任务运行集群；

任务运行集群接收到目标任务实例后，运行目标任务实例。

作为本发明的进一步改进，根据任务参数生成目标任务实例和通知消息的步骤之后，还包括：

控制终端从数据库获取所有第一任务运行状态数据信息，并根据所有第一任务运行状态数据信息分析得到运行的任务数量；

控制终端判断任务数量是否超过预设阈值；

若任务数量超过预设阈值，则控制终端不发送通知消息至任务代理节点。

作为本发明的进一步改进，控制终端获取用户输入的任务参数、根据任务参数生成目标任务实例的步骤包括：

控制终端获取用户在多个预设任务模板中选中的目标任务模板；

控制终端获取用户输入的任务参数，并根据任务参数和目标任务模板生成目标任务实例。

作为本发明的进一步改进，任务运行集群包括多个任务运行节点，控制终端获取用户输入的任务参数、根据任务参数生成目标任务实例和通知消息的步骤之前，还包括：

控制终端获取用户输入的所需任务运行节点的数量，并根据数量增加或减少任务运行节点。

作为本发明的进一步改进，任务代理节点包括监控模块，运行目标任务实例的步骤之后，还包括：