[发明专利]一种基于灰色预测算法的慢任务预测方法

权利要求书

1.一种基于灰色预测算法的慢任务预测方法，其特征在于，包括如下的步骤：

步骤一：在大数据集群上，统计每个节点在单位时间内，运行的总任务数和产生的慢任务数量；

步骤二：提取节点慢任务的信息，建立灰色预测模型，根据收集到的若干时间单位的数据，预测未来的一个时间单位内，慢任务出现的密集程度；

所述步骤一包括以下步骤：

步骤(1.1)统计大数据平台上的任务运行信息；

在集群中，按照预定的时间间隔作为时间单位，收集每个任务的开始时间、结束时间以及该任务运行所在的节点编号；

步骤(1.2)计算各个任务的执行时间，统计各个节点的任务总数；

根据开始时间与结束时间，计算出各个任务的执行时间，统计各个节点的总任务数量；

步骤(1.3)按照慢任务判定规则识别出对应节点的慢任务数量；

将所有任务的时长的中位数的1.5倍作为慢任务判定阈值，运行时长超过阈值的任务判定为慢任务，依此统计各个节点的慢任务数量；

所述步骤二包括以下步骤：

步骤(2.1)提取慢任务信息；

不同时间单位内，集群的使用情况有所不同，采用慢任务数量与总任务数量比值来参与建模；

步骤(2.2)输入数据的变换；

数列每一项与前一项的比值叫做级比，灰色预测要求序列的级比要落在可容覆盖内，n为数据的总量，如果不能满足条件，需要对原数列做必要的变换处理；

步骤(2.3)建立灰色预测模型；

GM(1，1)表示模型是一阶微分方程，且只含1个变量的灰色模型，灰色模型预测时模型使用的不是原始数据序列，而是生成的数据序列，在建模过程中，要对原始数据作累加生成，得到近似的指数规律再进行建模；

步骤(2.4)带入需要预测的时间点，计算出预测结果；

经过建模计算，最终得到满足原数列的方程式，此时将需要预测的时间点代入，计算出预测值，此时的预测值仍是指数增长的形式，通过逐项作差得到真正的预测结果。

2.根据权利要求1所述的基于灰色预测算法的慢任务预测方法，其特征在于：

所述步骤(1.3)执行的具体步骤如下：

子步骤(3-1)根据计算出的任务时长做排序，统计全部节点的任务总数，排序后的任务时长在任务总数一半处得到任务时长的中位数；

子步骤(3-2)任务时长中位数乘以1.5得到慢任务判断的阈值；

子步骤(3-2)重新对统计到的数据逐项判定，若任务时长超过阈值，则对应的节点慢任务数量+1，以此类推，得到每个节点的慢任务数量。

3.根据权利要求1所述的基于灰色预测算法的慢任务预测方法，其特征在于：

所述步骤(2.1)提取慢任务信息具体包括：

分别统计各节点慢任务数量和任务数量，计算每一个节点的二者的比值，把该比值作为预测模型的输入数据。

4.根据权利要求1所述的基于灰色预测算法的慢任务预测方法，其特征在于：

所述步骤(2.2)中需要满足灰色预测的执行条件为：

设参考数据为x⁽⁰⁾＝(x⁽⁰⁾(1),x⁽⁰⁾(2),…,x⁽⁰⁾(n)),计算序列的级比：

x⁽⁰⁾(k)表示第k个数据，n表示数据的总量；

如果所有的级比λ(k)都落在可容覆盖内，则序列x⁽⁰⁾能够作为模型GM(1，1)的数据进行灰色预测；否则，需要对序列x⁽⁰⁾做变换处理，使其落入可容覆盖内，即取常数c做平移变换：

y⁽⁰⁾(k)＝x⁽⁰⁾(k)+c,k＝1,2,…,n,

使序列y⁽⁰⁾＝(y⁽⁰⁾(1),y⁽⁰⁾(2),…,y⁽⁰⁾(n))的级比：