[发明专利]一种防止大数据任务资源占用过高的方法

说明书

一种防止大数据任务资源占用过高的方法，实现管控Yarn任务运行状态、运行时间、资源占用等，并且能够在Yarn任务超时时，对任务进行精准预测后，停止Yarn任务的方法及装置。可以有效的管控Yarn任务的运行状态，当任务超过时间阈值后，将任务运行信息输入到数据模型中，预测该任务是否对其他任务产出影响，是否会影响集群正常运行，若模型输出结果异常，及时的停止Yarn任务，防止任务超时导致资源的占用，从而影响其他Yarn任务的正常运行和整个集群的正常运行。

技术领域

本发明涉及大数据技术领域，具体涉及一种防止大数据任务资源占用过高的方法。

背景技术

近年来，大数据技术的应用越来越广泛，需要运行的任务也越来越多。而当任务发生异常或运行时间过长时候，会导致大数据集群资源占用过高，从而影响其他任务的正常执行，导致任务积压，进而造成大数据集群的宕机。会严重影响大数据服务的整体运行。

为了防止大数据任务资源占用过高、任务积压等问题，需要对每一个大数据任务进行管控，管控任务是否正常启动，是否正常运行，是否运行超时。一旦任务运行时间超过时间阈值，需要将超时的任务信息输入到数据模型中，预测是否会对其他任务和集群运行产出影响，若预测会产生影响，需要将超时任务停止，以防止资源占用过高，影响后续任务的正常执行。因此需要一种防止大数据任务资源占用过高的方法及装置。

发明内容

本发明为了克服以上技术的不足，提供了一种防止大数据任务资源占用过高造成任务积压进而造成大数据集群宕机的方法。

本发明克服其技术问题所采用的技术方案是：

一种防止大数据任务资源占用过高的方法，包括：

a)分别建立大数据Yarn任务健康状态上报服务、大数据Yarn任务管控客户端以及大数据Yarn任务管控服务端，大数据Yarn任务健康状态上报服务将Yarn任务运行的信息上报到大数据Yarn任务管控服务端，大数据Yarn任务管控客户端分别部署在Yarn集群中的各个节点上，大数据Yarn任务管控客户端执行大数据Yarn任务管控服务端发出的指令；

b)通过大数据Yarn任务管控服务端对大数据任务进行配置，将大数据任务的配置信息保存到数据库中；

c)当大数据启动Yarn任务和结束Yarn任务时，通过大数据Yarn任务健康状态上报服务向大数据Yarn任务管控服务端上报当前运行任务列表、任务的运行状态信息；

d)大数据Yarn任务管控服务端接收到信息后，保存到数据库中；

e)大数据Yarn任务管控服务端轮询出正在运行的任务，读取当前正在运行任务的配置，如当前任务运行时间超过配置的时间阈值时，将任务的运行信息输入到数据模型中，通过任务的运行状态、运行占用的资源、运行进度判断该任务是否对其他任务和集群运行产生影响，如有影响则向大数据Yarn任务管控服务端发送停止任务的指令；

f)大数据Yarn任务管控客户端接收到大数据Yarn任务管控服务端发送的停止任务的指令后，将超时的任务停止。

进一步的，步骤a)中建立大数据Yarn任务健康状态上报服务的方法为：

a-1.1)创建一个工具类YarnAppListener，并在该类中继承SparkListener类；

a-1.2)在YarnAppListener类中建立onApplicationStart和onApplicationEnd，分别实现在任务运行开始和运行结束时向管控服务端发送任务的详细信息；

a-1.3)创建spark对象时，添加config，指定spark.extraListeners为YarnAppListener类，在任务运行时自动执行YarnAppListener。

进一步的，步骤a)中建立的大数据Yarn任务管控客户端的执行管控服务端发送的指令，大数据Yarn任务管控客户端有权限执行Kill Yarn任务，大数据Yarn任务管控客户端部署在大数据集群的节点上。