[发明专利]任务调度方法、装置及系统

说明书

本申请提供了一种任务调度方法、装置及系统。该方法包括：依据控制流中多个任务之间的依赖关系，确定各个任务的初始优先级，所述优先级反映同一控制流中的各个任务的执行顺序；以任务的执行顺序、任务的构成以及任务在多个处理器中的分配情况为约束规则，建立任务调度模型；对所述任务调度模型进行求解以确定任务调度方案，使得按照所述任务调度方案执行所述多个任务所需的时间最短，其中，所述任务调度方案包括所述多个任务的执行顺序。本发明实施例能够提供ETL并行任务调度中的最佳调度顺序。

技术领域

本申请涉及由计算机实现的任务调度，尤其涉及ETL调度系统中任务调度的方法、装置和系统。

背景技术

数据仓库(DW)能够为企业决策分析提供一个面向主题的、综合的、相对稳定的、反映历史变化的数据集合，能够提升数据的价值，因而成为实现企业商务智能(BI)的一种重要手段。建立数据仓库的三大核心技术是数据的抽取(Extract)、转化(Transform)和加载(Load)，实现这几种技术的软件统称为ETL(Extract-Transform-Load)调度系统。ETL调度系统能够按照统一的规则实现从数据源到数据仓库的数据处理过程。

现有技术中的ETL调度系统适合处理控制流中串行的顺序执行的任务，当一个被依赖的前序任务完成后再顺序执行下一个任务。但是对于多个同时并发执行的控制流中的任务，ETL缺乏合理的并行调度控制机制，执行并行任务是无序的，通常会随机地将并行任务分配给CPU执行，容易发生多个并发控制流在同一时间内执行多个并行任务时争夺资源而导致相互等待的死锁现象，需要由维护人员进行人工手动干预才能顺利完成调度。这加大了维护压力，也影响了系统的运行效率。此外，ETL调度系统缺乏对并行任务数量的控制，因此，当达到处理机所能处理的极限时，ETL调度系统仍然会增加新任务，导致任务大量积压，处理效率大幅度下降，出现ETL过载甚至宕机的情况，因而维护人员还需要时刻关注当前的运行的任务数量与处理机的性能。

发明内容

本发明实施例提供了一种任务调度方法、装置及系统，能够提供ETL任务调度中的最佳调度顺序。

本发明的实施例提供了一种任务调度方法，包括：依据控制流中多个任务之间的依赖关系，确定各个任务的初始优先级，所述优先级反映同一控制流中的各个任务的执行顺序；以任务的执行顺序、任务的构成以及任务在多个处理器中的分配情况为约束规则，建立任务调度模型；对所述任务调度模型进行求解以确定任务调度方案，使得按照所述任务调度方案执行所述多个任务所需的时间最短，其中，所述任务调度方案包括所述多个任务的执行顺序。

本发明的实施例提供了一种任务调度装置，包括：初始优先级确定模块，用于依据控制流中多个任务之间的依赖关系，确定各个任务的初始优先级，所述优先级反映同一控制流中的各个任务的执行顺序；任务调度模型建立模块，用于以任务的执行顺序、任务的构成以及任务在多个处理器中的分配情况为约束规则，建立任务调度模型；任务调度方案确定模块，用于对所述任务调度模型进行求解以确定任务调度方案，使得按照所述任务调度方案执行所述多个任务所需的时间最短，其中，所述任务调度方案包括所述多个任务的执行顺序。

本申请的实施例还提供了一种任务调度系统，包括根据上述实施例的任务调度装置。

本发明的实施例根据ETL调度系统中任务的依赖关系确定任务在并行调度中的初始优先级，并根据任务执行的顺序、任务的构成和任务的分配情况建立ETL任务调度的模型，在此基础上对ETL任务调度模型求解并优化任务调度，根据任务实际处理数据的情况动态的调整并行任务的优先级并确定并行任务的数量，输出最佳的任务调度顺序作为任务调度模型的最优解。因此，本申请实施例弥补了现有技术中典型的ETL调度系统对并行任务处理杂乱无序、缺乏统一优化控制策略的不足，更充分发挥了ETL系统处理并行任务的能力。通过对并行任务的合理调度，提高了CPU的处理效率，节省了所有任务的处理时间，实现了高效处理复杂多任务功能的目的，从而进一步提高了ETL调度系统在构建用于经营分析的数据仓库的实用性。

附图说明