[发明专利]分布式系统的作业调度系统及方法

说明书

本发明提供了一种分布式系统的作业调度系统及方法，其中，该系统包括：作业提取装置，用于提取分布式文件系统中的多个待调度作业；血缘分析装置，用于对多个待调度作业进行分析，得到多个待调度作业之间的血缘关系；全作业路径构建装置，用于根据血缘关系，构建多个待调度作业之间的所有作业执行路径；关键路径识别装置，用于在所有作业执行路径中识别出关键作业执行路径；作业分组装置，用于对所有作业执行路径进行拆分分组，得到分组后的作业执行路径；作业执行装置，用于根据关键作业执行路径和分组后的作业执行路径，执行待调度作业。上述技术方案实现了对海量作业调度顺序的自动配置，资源的合理分配，数据可溯源，提高了作业调度效率。

技术领域

本发明涉及作业调度技术领域，特别涉及一种分布式系统的作业调度系统及方法。

背景技术

近年来，随着信息技术和互联网的发展，全球的数据总量已经达5000亿GB，增长速度甚至高过NASA火箭速度，人们迅速从信息匮乏的时代走入了信息过载的时代。在这个时代主要挑战是：如何从大量信息中提取感兴趣的信息，然后应用于分析、决策等方面。从数据的采集、抽取、转换、加载、数据集市生成，再到决策的数据魔方的形成，涉及成千上万的处理程序，而处理程序之间的关系又是千丝万缕、错综复杂，把其形容成一张作业的蜘蛛网也不为过。如何有效地实施作业调度管理，提高系统数据分析效率和整体资源利用率，是大数据分析中重中之重。然而，作业调度管理常常存在以下问题：

1.需要人工梳理和分析作业间的关联关系，然后配置相关作业的调度顺序。

2.功能单一，仅实现最简单的作业调度功能，未能对调度作业进行合理分析，合理配置作业执行路径。

3.缺乏对于历史作业运行经验的自学习自反馈能力，无法按历史运行经验关键作业进行并发度和资源的倾斜。

4.数据源长途跋涉，经过大量的处理和组件传递后呈现在业务用户面前，对数据进行回溯其实很难。而源数据回溯在有效决策、策略制定、差异分析等过程中很重要。

发明内容

本发明实施例提供了一种分布式系统的作业调度系统，用以自动配置作业执行路径，实现资源的合理分配，可溯源，提高作业调度时效，该系统包括：

作业提取装置，用于提取分布式文件系统中的多个待调度作业；

血缘分析装置，用于对多个待调度作业进行分析，得到多个待调度作业之间的血缘关系；所述血缘关系为多个待调度作业之间的从数据源到目标数据的流向关系；；

全作业路径构建装置，用于根据所述血缘关系，构建多个待调度作业之间的所有作业执行路径；

关键路径识别装置，用于根据待调度作业的历史运行时间，在所有作业执行路径中识别出关键作业执行路径；关键作业执行路径为执行待调度作业时历史运行时间大于预设运行时间的路径；

作业分组装置，用于对所有作业执行路径进行拆分分组，得到分组后的作业执行路径；

作业执行装置，用于根据所述关键作业执行路径和分组后的作业执行路径，对待调度作业进行调度执行。

本发明实施例还提供了一种分布式系统的作业调度方法，用以自动配置作业的执行路径，实现资源的合理分配，可溯源，提高作业调度时效，该方法包括：

提取分布式文件系统中的多个待调度作业；

对多个待调度作业进行分析，得到多个待调度作业之间的血缘关系；所述血缘关系为多个待调度作业之间的从数据源到目标数据的流向关系；；

根据所述血缘关系，构建多个待调度作业之间的所有作业执行路径；

根据待调度作业的历史运行时间，在所有作业执行路径中识别出关键作业执行路径；关键作业执行路径为执行待调度作业时历史运行时间大于预设运行时间的路径；