[发明专利]一种分布式调度系统及方法

说明书

本发明提供了一种分布式调度系统及方法，该系统包括调度部、运行部以及存储部，调度部包括至少一个调度单元，运行部包括多个运行单元，存储部包括至少一个存储单元，调度单元，适于从文件系统中提取待处理任务，并将待处理任务分为多个子任务；调度单元，还适于将多个子任务分发至相应的运行单元，并由运行单元执行对应子任务；调度单元，还适于记录各子任务的执行过程生成记录信息，并将记录信息存储于存储单元。解决了由中央设备集中处理任务而造成的单点问题，当任务失败或执行设备出现故障，由其他设备节点继续执行，实现了任务失败自动多机重试，保证任务及时、正确运行。当任务执行过程中出现其他问题还可以通过该系统向用户进行报警通知。

技术领域

本发明涉及计算机技术领域，特别是涉及一种分布式调度系统及方法。

背景技术

海姆达尔是一个具有完全自主知识产权的海量数据挖掘与分析系统，该系统可以实现对海量数据的挖掘和处理，并提供方便易用的工具供数据挖掘人员和运营分析人员使用。目前分析人员采用该系统在查询文件时，查找到的是文件通常是原始日志，因此还需要对原始日志进行再次加工、处理、分析等，这无疑会增加分析人员的工作量，不利于提高分析人员的工作效率，此时为了能够为分析人员等提供便利，需要在海姆达尔系统中直接实现原始日志的进一步抽取、细化。

但是，目前在使用该系统进行数据挖掘处理或数据抽取任务时，都是基于脚本/计算平台/硬编码的方式串起整个流程。该种方式中，所有调度任务都由中央设备来统一完成，数据处理任务调度信息集中汇总到中央设备这一管理节点上，导致信息流拥挤，若该管理节点出现故障会影响整个系统的数据处理任务，此外，当前系统的任务处理效率低，无法满足用户需求。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的分布式调度系统和相应的方法。

依据本发明的一个方面，提供了一种分布式调度系统，包括调度部、运行部以及存储部，所述调度部包括至少一个调度单元，所述运行部包括多个运行单元，所述存储部包括至少一个存储单元，

所述调度单元，适于从文件系统中提取待处理任务，并将所述待处理任务分为多个子任务；

所述调度单元，还适于将所述多个子任务分发至相应的运行单元，并由所述运行单元执行对应子任务；

所述调度单元，还适于记录各子任务的执行过程生成记录信息，并将所述记录信息存储于存储单元。

可选地，所述系统还包括：

前端部，包括至少一个前端单元，所述前端单元适于开发获取代码，并根据所述代码生成对应的待处理任务；

将所述待处理任务上传至文件系统进行存储。

可选地，所述调度单元，还适于：

结合所述待处理任务的来源将所述待处理任务分为多个子任务，并根据各运行单元的运行状态将所述多个子任务分发至相应的运行单元。

可选地，所述运行单元，还适于：

根据所接收的对应子任务创建相应的运行环境，并在所述运行环境中执行该子任务。

可选地，所述调度单元，还适于：

监控并记录各运行单元中子任务的执行过程，并在监控到任一子任务执行异常时，自动启动其他运行单元继续执行该子任务。

可选地，所述调度单元，还适于：

从各子任务的执行过程中提取各子任务的元信息以及临时信息，其中，所述元信息包括子任务标识信息和/或子任务类型，所述临时信息包括子任务数量和/或执行时间；

利用所述元信息以及临时信息生成记录信息。

可选地，所述存储单元，还适于：