[发明专利]一种预测任务资源等待时间的方法及系统

说明书

技术领域

本发明涉及大规模计算系统(包括超级计算及云计算)资源管理，优化及分配，特别涉及一种预测任务资源等待时间方法及系统。

背景技术

在针对大规模计算系统资源使用的刻画，预测，优化，及分配的过程中，现有的许多方案采用基于模型的方法。具体来说，研究人员首先选取一种或几种和系统资源使用相关的维度进行数据跟踪观察(例如作业的剩余运行时间，作业在系统队列中的排队时间，等等)，然后应用某种相关概率模型来刻画此种维度数据的概率分布，接下来，研究人员应用此种模型所呈现的概率分布性质进行针对该系统未来表现的预测，从而实现资源优化及合理分配，例如，Downey应用对数均匀分布(log uniform distribution)来测量作业剩余运行时间，Brevik及其合作者提出了二项方法批量预测的概念(Binomial Method Batch Predictor(BMBP))来刻画系统队列等待时间，Li及其合作者应用混合高斯模型(Gaussian-mixture model)来描述某段特定时间内系统全部作业的运行时间分布。

基于特定概率模型来刻画资源分布的方法在处理大型计算系统管理以及大数据处理的实际应用当中会存在如下的一些实际问题：海量数据的历史负载记录在实际应用中很难服从某种特定的概率分布，实际上，通过检验不同的实际数据，大数据的历史负载记录不但不服从单一的某种概率分布，甚至不易用混合概率分布模型来刻画；一些常用的概率模型(例如二项分布模型(binomial model)及其衍生模型)中关于用户在短时间间隔内提交的作业性质彼此独立的假设现实中往往并不成立，事实上，通过对实际超级计算机历史负载数据的具体研究，我们发现大部分用户会在短时间内多次提交内容类似，参数相当的作业，因此用此类概率模型进行资源消耗的评估和预测往往是不准确的。

发明内容

针对现有技术的不足，本发明提出一种预测任务资源等待时间方法及系统。

本发明提出一种预测任务资源等待时间的方法，包括：

步骤1，获取历史任务记录，删除该历史任务记录中存在依赖关系的任务记录，生成新历史任务记录；

步骤2，通过自相关函数，获取该新历史任务记录中与待预测时间段具有相关性的时间段内的任务记录，生成任务记录集合；

步骤3，设置任务资源等待时间阈值，获取该任务记录集合中任务资源等待时间超过该任务资源等待时间阈值的任务记录的个数，并根据该任务记录集合中任务记录的总量，通过贝叶斯方法预测该待预测时间段内的任务资源等待时间。

所述的预测任务资源等待时间的方法，该步骤1的具体步骤包括：

步骤11，判断该历史任务记录中的任务记录是否存在依赖关系；

步骤12，若存在则删除存在依赖关系的任务记录。

所述的预测任务资源等待时间的方法，该步骤11包括：

步骤21，选择时间临界点t*和空间临界点x*；

步骤22，如果该历史任务记录中的两个任务记录的提交时间间隔在时间临界点t*之内并且参数选取的临近程度在空间间隔x*之内，且配对的密度高于该历史任务记录中除该两个任务记录的配对的密度，则该两个任务记录在(t*，x*)尺度之内具有依赖关系。

所述的预测任务资源等待时间的方法，该步骤12包括：

步骤31，将该历史任务记录中的任务记录按提交时间由小到大进行排列；

步骤32，从提交时间最小的任务记录开始，删除该提交时间最小的该任务记录至接下来t*时间内所有和该提交时间最小的该任务记录的参数选择临近程度小于x*的任务记录；

步骤33，更新该历史任务记录并重复该步骤22，直至遍历该历史任务记录，更新该历史任务记录。

所述的预测任务资源等待时间的方法，该步骤3中该贝叶斯方法的公式为：

其中N_LTW,k-1,k-2为该任务资源等待时间超过该任务资源等待时间阈值的该任务记录的该个数，N_k-1,k-2为该任务记录集合中该任务记录的该总量，P_LTW,k是为该待预测时间段内任务资源等待时间超过该任务资源等待时间阈值的任务概率。

本发明还提出一种预测任务资源等待时间的系统，包括：

生成新历史任务记录模块，用于获取历史任务记录，删除该历史任务记录中存在依赖关系的任务记录，生成新历史任务记录；