[发明专利]一种防止大数据任务资源占用过高的方法

权利要求书

1.一种防止大数据任务资源占用过高的方法，其特征在于，包括：

a)分别建立大数据Yarn任务健康状态上报服务、大数据Yarn任务管控客户端以及大数据Yarn任务管控服务端，大数据Yarn任务健康状态上报服务将Yarn任务运行的信息上报到大数据Yarn任务管控服务端，大数据Yarn任务管控客户端分别部署在Yarn集群中的各个节点上，大数据Yarn任务管控客户端执行大数据Yarn任务管控服务端发出的指令；

b)通过大数据Yarn任务管控服务端对大数据任务进行配置，将大数据任务的配置信息保存到数据库中；

c)当大数据启动Yarn任务和结束Yarn任务时，通过大数据Yarn任务健康状态上报服务向大数据Yarn任务管控服务端上报当前运行任务列表、任务的运行状态信息；

d)大数据Yarn任务管控服务端接收到信息后，保存到数据库中；

e)大数据Yarn任务管控服务端轮询出正在运行的任务，读取当前正在运行任务的配置，如当前任务运行时间超过配置的时间阈值时，将任务的运行信息输入到数据模型中，通过任务的运行状态、运行占用的资源、运行进度判断该任务是否对其他任务和集群运行产生影响，如有影响则向大数据Yarn任务管控服务端发送停止任务的指令；

f)大数据Yarn任务管控客户端接收到大数据Yarn任务管控服务端发送的停止任务的指令后，将超时的任务停止。

2.根据权利要求1所述的防止大数据任务资源占用过高的方法，其特征在于，步骤a)中建立大数据Yarn任务健康状态上报服务的方法为：

a-1.1)创建一个工具类YarnAppListener，并在该类中继承SparkListener类；

a-1.2)在YarnAppListener类中建立onApplicationStart和onApplicationEnd，分别实现在任务运行开始和运行结束时向管控服务端发送任务的详细信息；

a-1.3)创建spark对象时，添加config，指定spark.extraListeners为YarnAppListener类，在任务运行时自动执行YarnAppListener。

3.根据权利要求1所述的防止大数据任务资源占用过高的方法，其特征在于，步骤a)中建立的大数据Yarn任务管控客户端的执行管控服务端发送的指令，大数据Yarn任务管控客户端有权限执行Kill Yarn任务，大数据Yarn任务管控客户端部署在大数据集群的节点上。

4.根据权利要求1所述的防止大数据任务资源占用过高的方法，其特征在于，步骤a)中建立的大数据Yarn任务管控服务端提供的功能为：

a-2.1)大数据Yarn任务管控服务端提供配置每个任务的超时时间阈值；

a-2.2)大数据Yarn任务管控服务端提供接收大数据Yarn任务健康状态上报服务所上报的Yarn任务信息；

a-2.3)大数据Yarn任务管控服务端判断当前任务运行时间超过配置的时间阈值时，将任务的运行信息输入到数据模型中，通过任务的运行状态、运行占用的资源、运行进度判断该任务是否对其他任务和集群运行产生影响，如有影响则向大数据Yarn任务管控服务端发送停止任务的指令；

a-2.4)大数据Yarn任务管控服务端根据历史任务的每个阶段的运行时间、每个阶段占用资源百分比对数据进行统计，利用回归算法，得到对数据进行拟合的模型，确定任务运行完成度占比、任务资源占用和任务运行时长相互依赖的定量关系。