[发明专利]集群的扩容方法、装置、电子设备及计算机可读存储介质

说明书

本申请提供了一种集群的扩容方法、装置、电子设备及计算机可读存储介质，涉及云计算领域。该方法包括：获取预设的大数据集群的集群信息；当基于集群信息确定出所述大数据集群满足所述扩容条件时，向预设的容器云集群发送扩容请求，以使得所述容器云集群响应所述扩容请求生成与所述扩容请求对应的容器。本申请实现了在任务事件突增时，无需对已部署的大数据集群进行人为扩容，不仅节约了大量的人力成本，而且通过合理使用云端资源实现了自动的、动态的、快速的、适应性的扩容，大大提高了应对突发事件的能力，同时又不会过度消耗云端资源。

技术领域

本申请涉及云计算技术领域，具体而言，本申请涉及一种集群的扩容方法、装置、电子设备及计算机可读存储介质。

背景技术

现有技术中，以Hadoop(分布式系统基础架构)生态为核心的大数据应用，通常都是直接部署在物理机或者虚拟机上，并通过Yarn(Yet Another Resource Negotiator，另一种资源协调者)作为资源管理者和调度引擎，每台物理机或者虚拟机上部署了节点管理器，用于管理单台节点的资源，与同一节点中的资源管理器保持通信。

但是现有技术中的Yarn需要提前完成部署，当出现大量的突发业务时，则无法满足大量的业务需求。目前业界也没有成熟的解决方案，通常有两种临时方案进行规避：方案1：业务突增时根据实际的需求量进行手动扩容；方案2：根据经验评估资源需求量，提前扩容以预防业务突增。

但是上述两种方案也存在相应的缺点：1)如果选择方案1临时扩容，则面对大量的突发业务时，手动扩容难以在系统性能达到瓶颈前完成扩容，这将会严重影响系统的可用性；2)如果选择方案2提前扩容，首先在资源利用率和成本上会带来额外的支出，其次根据经验评估资源需求量，往往无法精确的预备所需资源。预备少了，业务突发时仍然需要临时手动扩容，同样会遇到方案一提到的缺点；预备多了，势必加重资源和成本的浪费。

发明内容

本申请提供了一种集群的扩容方法、装置、电子设备及计算机可读存储介质，可以解决上述的问题。所述技术方案如下：

一方面，提供了一种集群的扩容方法，该方法包括：

获取预设的大数据集群的集群信息；

当基于所述集群信息确定出所述大数据集群满足扩容条件时，向预设的容器云集群发送扩容请求，以使得所述容器云集群响应所述扩容请求生成与所述扩容请求对应的容器。

优选地，所述集群信息包括所述大数据集群中资源管理器的调度队列中是否存在待处理的任务事件，以及所述大数据集群的平均负载；

基于所述集群信息确定出所述大数据集群满足扩容条件，包括：

当检测到所述调度队列中存在待处理的任务事件，同时所述平均负载超过所述平均负载阈值，则判定所述大数据集群满足预设的扩容条件。

优选地，所述获取预设的大数据集群的集群信息，包括：

基于预设的时间间隔采用预设的分析组件轮询所述资源管理器的调度队列，以及，

采用所述分析组件分析得到所述大数据集群中各个节点的负载，并基于各个节点的负载计算得到平均负载。

优选地，所述向预设的容器云集群发送扩容请求，以使得所述容器云集群响应所述扩容请求生成与所述扩容请求对应的容器，包括：

基于预设的分析组件生成执行待处理的任务事件所需要的配置信息；

基于所述配置信息通过预设的处理组件生成所述容器云集群中可识别的资源模板，并将包含所述资源模板的扩容请求发送给所述容器云集群，以使得所述容器云集群响应所述扩容请求并基于所述资源模板生成对应的容器；所述容器用于执行所述大数据集群接收到的待处理的任务事件。