[发明专利]一种资源可用度预警方法及装置

说明书

本发明提供了一种资源可用度预警方法，所述方法包括：建立资源使用量预估模型；通过所述资源使用量预估模型，预估下一时间周期的资源使用量；当所述预估的下一周期的资源使用量超出预设阈值时，发出资源可用度预警。本发明还提供了一种资源可用度预警装置。

技术领域

本发明涉及业务支撑技术领域，尤其涉及一种Hadoop资源可用度预警的方法及装置。

背景技术

Hadoop是当前大数据平台的主流软件之一，它提供了一种分布式海量数据存储(HDFS，Hadoop Distributed File System)、分布式大规模计算(MapReduce) 和通用资源管理系统(YARN，Yet Another Resource Negotiator)的基本框架，具有高容错性、易用性和可扩展性等优点，被广泛用于数据挖掘、联机分析处理(OLAP，Online AnalyticalProcessing)、经营分析等，能够发掘潜在客户群体、帮助进行市场细分和客户关系管理、预测未来市场趋势等，为企业领导者提供决策支持，实现数据增值变现的目的。目前Hadoop已经被大量应用于互联网、通信、金融等众多领域。

现有的基于YARN的Hadoop架构如图1所示，主要包括全局资源管理器 (RM，ResourceManager)、应用主管理程序(AM,ApplicationMaster)、节点管理器(NM，NodeManager)和容器Container等一系列模块。

基于YARN框架的Hadoop整体执行流程如下：

步骤1：用户通过客户端JobClient提交MapReduce等应用程序，向RM 申请资源；

步骤2：RM中的全局应用管理器(ASM，ApplicationsManager)和资源调度器(RS，ResourceScheduler)接受请求后给该应用程序分配第一个容器 Container，并查到对应的NM与之通信，发出在Container中启动AM的命令；

步骤3：AM在RM注册自己，然后通过远程过程调用RPC协议采用轮询方式为各个任务申请资源，主要包括CPU、内存等；

步骤4：当AM领取到资源后会与NM通信，由NM启动待执行的任务；

步骤5：各个任务通过RPC协议向AM报告自己当前的状态，AM监控所有任务的运行状态，发现任务运行失败后会重新申请资源然后再重启任务；

步骤6：当应用程序执行完成后，AM向RM注销并关闭自己，回收释放相关资源。

Hadoop现有的YARN架构虽然为资源管理和任务调度监控提供了很好的支持，但是目前只能监控任务状态，不能在资源不足时提前给用户发出预警因而无法提前进行资源调整，有可能会导致任务进度已经接近完成却发生资源严重不足，那么任务可能只能重新启动并再分配资源，这样就会造成时间和资源的浪费。

发明内容

有鉴于此，本发明实施例期望提供一种资源可用度预警方法及装置，能够并且能够有效的减少资源浪费提高资源的利用率。

为达到上述目的，本发明的技术方案是这样实现的：

本发明实施例提供了一种资源可用度预警方法，所述方法包括：

建立资源使用量预估模型；

通过所述资源使用量预估模型，预估下一时间周期的资源使用量；

当所述预估的下一周期的资源使用量超出预设阈值时，发出资源可用度预警。

上述方案中，所述建立资源使用量预估模型包括：

根据每个时间周期内所有并行任务的进度和消耗资源的增量以及时间周期规律和关联关系确定下一时间周期任务进度增量对应的消耗资源增量；