[发明专利]一种带结果收集的多趟调度模型的求解方法及系统

说明书

本发明属于信息处理技术领域，公开了一种带结果收集的多趟调度模型的求解方法及系统，给定处理机调度顺序、调度趟数和处理机数目，构建的任务分配方案；建立带结果收集的多趟可分任务调度模型；求解带结果收集的多趟调度模型：求解带结果收集的多趟调度模型，得到最优处理机调度顺序、最优调度趟数和最优任务分配方案，从而得到任务的最短完成时间。本发明的带结果收集的多趟调度模型以任务的最短完成时间为目标，推导得到了任务分配方案关于调度趟数和处理机数目的解析解。本发明提出的求解该模型的智能优化算法能够高效准确地求出最优的调度趟数和最优的处理机调度顺序。

技术领域

本发明属于信息技术领域，尤其涉及一种带结果收集的多趟调度模型的求解方法及系统。

背景技术

目前，最接近的现有技术：

随着科学技术的蓬勃发展，数据规模呈爆炸式增长。目前存在大量大数据相关应用，例如大规模雷达图像的快速处理、大数据检索和分类、生物数据的快速分析、高清视频的快速格式转换、大规模矩阵的快速运算和数据流的实时处理等，这些大规模应用都需要在分布式计算平台上进行并行处理以便减少任务的处理时间。任务的处理效率很大程度上取决于任务调度方案的优劣。

已有的任务调度模型主要分为两类：单趟调度和多趟调度。在单趟调度模型中，主处理机将任务分成同从处理机数目相等的份数，并按照处理机调度顺序依次为从处理机传输任务，每个从处理机仅接收并计算一次任务。由于单趟调度分配给每台从处理机的任务量较大，因此后参与计算的处理机可能存在较长的等待时间。鉴于此，多趟调度通过将任务多批次的分配给每个从处理机来减少处理机的等待时间，从而提高任务的处理效率。然而，已有多趟调度模型均假设任务计算后得到的结果数据量很小，且结果的收集相对于任务的传输和计算时间可以忽略不计。但是，这一假设与大数据应用的实际情况不符，如清视频的快速格式转换和大规模矩阵的快速运算等。可见，多趟调度模型必须考虑结果的收集才能使模型更符合实际应用的需求。

综上所述，现有技术存在的问题是：

(1)单趟调度模型每个从处理机仅接收并计算一次任务。单趟调度分配给每台从处理机的任务量较大，因此后参与计算的处理机可能存在较长的等待时间，导致单趟调度模型的任务完成时间较长。

(2)已有多趟调度模型均假设任务计算后得到的结果数据量很小，且结果的收集相对于任务的传输和计算时间可以忽略不计。但是，这一假设与大数据应用的实际情况不符。

解决上述技术问题的难度：

已有的调度模型与大数据应用的实际情况不符，需要建立新的带结果收集的多趟调度模型，并设计求解新模型的高效算法，包括求解得到最优的任务分配方案，最优的调度趟数和最优的处理机调度顺序。

解决上述技术问题的意义：

所建立的新的带结果收集的多趟调度模型能够适用于大规模分布式环境下的大数据应用任务，可以加快任务的完成时间，提高任务的完成效率。

发明内容

针对现有技术存在的问题，本发明提供了一种带结果收集的多趟调度模型的求解方法及系统。

本发明是这样实现的，一种带结果收集的多趟调度模型的求解方法，针对大数据应用的任务调度问题，结合实际情况将结果收集的过程融合到调度过程中统一进行优化，通过严格的数学推导，得到每个处理机的最优任务分配方案的解析解，建立以总任务最短完成时间为目标的带结果收集的可分任务多趟调度模型。

针对所提出的带结果收集的多趟任务调度模型，设计一种启发式算法和进化算法分别得到调度的最优趟数和最优处理机调度顺序，从而得到最短的任务完成时间，提高任务的处理效率。

进一步，所述带结果收集的多趟调度模型的求解方法包括以下步骤：