[发明专利]队列资源调整方法、装置、电子设备和计算机可读介质

说明书

本申请提供了一种队列资源调整方法、装置、电子设备和计算机可读介质，属于集群技术领域。方法包括：将集群中的当前内存使用率和当前待分配任务数量输入目标预测时序模型，得到目标预测时序模型输出的预测内存使用率和预测待分配任务数量；在预测内存使用率不小于目标内存使用率，且预测待分配任务数量不小于目标待分配任务数量的情况下，确定集群中的全部任务标识；在紧急任务数据库包含至少一个任务标识的情况下，将集群中存在于紧急任务数据库中的任务标识作为目标任务标识；确定目标任务标识对应的目标队列，并对目标队列进行资源调整。本申请提高资源调整的灵活性，避免资源拥堵。

技术领域

本申请涉及集群技术领域，尤其涉及一种队列资源调整方法、装置、电子设备和计算机可读介质。

背景技术

Hadoop集群可以为多个业务队列进行资源分配，每个业务队列具有优先级，相应的资源分配也是不同的，一般是优先级高的业务队列分配的资源较多，优先级低的业务队列分配的资源较少。

每个队列均具有对应的配置文件，目前是通过定时切换配置文件的方式调整集群中的队列资源，如果遇到紧急情况需要调整队列资源，需要人工再另外修改配置文件，及时性低，队列资源调整的灵活性差。

发明内容

本申请实施例的目的在于提供一种队列资源调整方法、装置、电子设备和计算机可读介质，以解决资源调整灵活性差的问题。具体技术方案如下：

第一方面，提供了一种队列资源调整方法，所述方法包括：

将集群中的当前内存使用率和所述当前待分配任务数量输入目标预测时序模型，得到所述目标预测时序模型输出的预测内存使用率和预测待分配任务数量；

在所述预测内存使用率不小于目标内存使用率，且所述预测待分配任务数量不小于目标待分配任务数量的情况下，确定所述集群中的全部任务标识，其中，所述集群中包含多个任务，每个任务具有对应的任务标识；

在紧急任务数据库包含至少一个所述任务标识的情况下，将所述集群中存在于所述紧急任务数据库中的任务标识作为目标任务标识；

确定所述目标任务标识对应的目标队列，并对所述目标队列进行资源调整，其中，所述集群包括多个队列。

可选地，所述集群包括多个父队列，每个所述父队列包括多个子队列，每个所述子队列包括多个任务，所述确定所述目标任务标识对应的目标队列，并对所述目标队列进行资源调整包括：

确定所述目标任务标识对应的目标父队列；

在所述目标父队列的业务为全部紧急的情况下，对所述目标父队列中的资源进行调整。

可选地，所述集群包括多个父队列，每个所述父队列包括多个子队列，每个所述子队列包括多个任务，所述确定所述目标任务标识对应的目标队列，并对所述目标队列进行资源调整包括：

确定所述目标任务标识对应的目标父队列；

在所述目标父队列的业务为部分紧急的情况下，确定所述目标任务标识对应的目标子队列；

对所述目标子队列中的资源进行调整。

可选地，所述目标父队列的业务为全部紧急包括：

确定所述目标父队列的目标业务标识，并获取紧急业务数据库中的紧急业务标识；

在所述紧急业务数据库中包含与所述目标业务标识匹配的紧急业务标识的情况下，确定所述目标父队列的业务为全部紧急。

可选地，在紧急任务数据库包含至少一个所述任务标识之后，所述方法还包括：

发送警示信息至目标终端，以使目标终端得知所述集群需要进行资源调整。