[发明专利]大数据平台的任务调度方法

权利要求书

1.一种大数据平台的任务调度方法，其特征在于，其包括如下步骤：

控制终端获取用户输入的任务参数、根据所述任务参数生成目标任务实例和通知消息，所述目标任务实例对应所述通知消息；

数据库接收所述目标任务实例，并将所述目标任务实例写入至任务列表；

包括多个任务代理节点的任务代理集群接收到所述通知消息后，所述任务代理节点从所述数据库的任务列表中读取与所述通知消息对应的目标任务实例，并将所述目标任务实例下发至任务运行集群；

所述任务运行集群接收到所述目标任务实例后，运行所述目标任务实例；

所述根据所述任务参数生成目标任务实例和通知消息的步骤之后，还包括：

所述控制终端从所述数据库获取所有第一任务运行状态数据信息，并根据所述所有第一任务运行状态数据信息分析得到运行的任务数量；

所述控制终端判断所述任务数量是否超过预设阈值；

若所述任务数量超过所述预设阈值，则所述控制终端不发送通知消息至所述任务代理节点。

2.根据权利要求1所述的大数据平台的任务调度方法，其特征在于，所述控制终端获取用户输入的任务参数、根据所述任务参数生成目标任务实例的步骤包括：

所述控制终端获取用户在多个预设任务模板中选中的目标任务模板；

所述控制终端获取用户输入的所述任务参数，并根据所述任务参数和所述目标任务模板生成所述目标任务实例。

3.根据权利要求1所述的大数据平台的任务调度方法，其特征在于，所述任务运行集群包括多个任务运行节点，所述控制终端获取用户输入的任务参数、根据所述任务参数生成目标任务实例和通知消息的步骤之前，还包括：

所述控制终端获取用户输入的所需所述任务运行节点的数量，并根据所述数量增加或减少所述任务运行节点。

4.根据权利要求1所述的大数据平台的任务调度方法，其特征在于，所述任务代理节点包括监控模块，所述运行所述目标任务实例的步骤之后，还包括：

所述监控模块监控所述目标任务实例的执行，以获得第二任务运行状态数据信息，并将所述第二任务运行状态数据信息传输至所述数据库。

5.根据权利要求4所述的大数据平台的任务调度方法，其特征在于，所述监控模块监控所述目标任务实例的执行的步骤之后，还包括：

所述监控模块检测当前任务代理节点的运行状态；

所述监控模块根据所述运行状态判断所述当前任务代理节点是否宕机；

若根据所述运行状态判定所述当前任务代理节点宕机时，则发送反馈信息至所述控制终端；

所述控制终端选择出替代任务代理节点，替换所述当前任务代理节点，以继续执行所述目标任务实例。

6.根据权利要求4所述的大数据平台的任务调度方法，其特征在于，所述监控模块监控所述目标任务实例的执行，以获得第二任务运行状态数据信息，并将所述第二任务运行状态数据信息传输至所述数据库的步骤之后，还包括：

所述目标任务实例执行完成后，所述任务代理节点生成第一日志文件，并将所述第一日志文件传输至Hadoop分布式文件系统进行存储。

7.根据权利要求1所述的大数据平台的任务调度方法，其特征在于，其还包括：

所述控制终端获取用户输入的任务停止指令，并将所述任务停止指令发送至所述任务代理节点；

所述任务代理节点接收到所述任务停止指令后，发送任务停止请求至所述任务运行集群；

所述任务运行集群接收到所述任务停止请求后，停止所述目标任务实例的执行；

所述目标任务实例停止执行后，所述任务代理节点生成第二日志文件和删除所述目标任务实例，并将所述第二日志文件传输至Hadoop分布式文件系统进行存储。