[发明专利]一种基于灰色预测算法的慢任务预测方法

说明书

本发明提出了一种基于灰色预测算法的慢任务预测方法，包括如下步骤：步骤一：在大数据集群上，统计每个节点在单位时间内，运行的总任务数和产生的慢任务数量；步骤二：提取节点慢任务的信息，建立灰色预测模型，根据收集到的若干时间单位的数据，可以预测未来的一个时间单位内，慢任务出现的密集程度。本发明针对目前大数据平台内慢任务影响集群性能的问题，提出基于灰色预测算法的慢任务预测方法。不同于以往的时效性准确性较差的慢任务识别技术，本发明希望使用灰色预测算法建立微分方程模型，分析集群节点的运行规律，较准确地预测出未来一段时间内集群节点的慢任务情况，为集群使用者提供有效的优化建议。

技术领域

本发明涉及大数据平台的慢任务分析领域，具体地涉及一种基于灰色预测算法的慢任务预测方法。

背景技术

信息技术的发展推动了时代的不断进步，当今社会已经渐渐进入大数据处理时代，国家亦把大数据技术作为抢占经济科技发展制高点的核心战略。大数据应用往往以分布式的形式运行在大规模的集群或云平台上。一个大数据的应用很可能由成千上万个进程构成，节点规模甚至可以达到几千个。因此深入理解应用的运行状态必须将大量节点的性能数据汇总起来进行关联分析。

如今的大数据集群经常会包含许多异构节点，集群中又会处理各种各样的任务，在程序执行过程中容易出现性能问题——慢任务问题。在一定的时间内，集群中执行的任务数可能成千上万，但是大部分的任务执行时间都是相差不大的，对于那些执行时间远远高于大多数任务的任务，我们称之为慢任务。在以往的大数据相关文献中，定义了慢任务为执行时间大于同一阶段中所有任务执行时间的中位数的1.5倍的任务，这个定义被后来的引用者广泛使用。慢任务会占用大量的集群资源，它的存在会显著影响集群的工作性能。

慢任务的识别和预测能够对集群维护人员提供参考，优先把新的应用进程分配到慢任务较少的节点上，就能够有效地提高集群资源的利用率；同时根据慢任务密集程度，也能够迅速发现工作异常的节点，指导异常节点的修复。

预测学是一门研究预测理论、方法、评价及应用的科学。综观预测的思维方式，其基本理论主要有惯性原理、类推原理和相关原理。预测的核心问题是预测的技术方法，或者说是预测的数学模型。与大多数预测方法不同的是，灰色预测方法使用的不是原始数据序列而是生成的数据序列，又使用了微分方程来充分挖掘系统的本质，精度高。

当前的慢任务分析算法主要存在以下问题：

分析算法时效性不高，很多算法要用到集群运行时的数据，所以不得不等到集群运行很长时间后才能计算出结果，此时慢任务已经对集群的性能造成了损害。另外，分析算法的准确率不能保证，对于一些慢任务数量波动较大的节点，没有分析慢任务数量与任务数量的关系，预测效果会比较差。

发明内容

为了解决以上问题，本发明采用分别统计各个节点的慢任务数量和任务数量的方法处理数据。把各个节点的慢任务数量和任务数量的比值作为预测的数据量。既准确地表达了慢任务的密集程度，又能避免不同时间内慢任务数量的波动带来的影响。然后采用灰色预测方法建立模型，计算出时间阶段与慢任务情况的内在关系，给出方程，最后计算出将来时间段的慢任务密集程度预测值。

本发明提供了一种基于灰色预测算法的慢任务预测方法，包括如下步骤：

步骤一：在大数据集群上，统计每个节点在单位时间内，运行的总任务数和产生的慢任务数量；

步骤二：提取节点慢任务的信息，建立灰色预测模型，根据收集到的若干时间单位的数据，可以预测未来的一个时间单位内，慢任务出现的密集程度；

所述步骤一包括以下步骤：

步骤(1.1)统计大数据平台上的任务运行信息；

在集群中，按照一定的时间间隔作为时间单位，收集每个任务的开始时间、结束时间以及该任务运行所在的节点编号；