[发明专利]集群负载调度方法、装置、电子设备和存储介质

说明书

本申请提出一种集群负载调度方法、装置、电子设备和存储介质，其中，方法包括：获取每一个节点对应的负载信息；若节点对应的负载信息满足预设不可调度条件，则确定为不可调度节点；将不可调度节点从所述多个节点中删除得到待评分节点；根据待评分节点中每一个节点对应的负载信息按照预设评分规则进行评分；根据评分结果从待评分节点中确定目标节点，并将待存储数据块调度到目标节点。解决现有技术中HBase的平衡策略不感知HDFS侧的负载，导致数据块分配集中在集群某些节点，无法充分利用集群的所有资源技术问题，通过对每一个节点的负载信息进行分析，确定比较空闲的节点，并引导数据块到磁盘较空闲的节点，提高集群整体负载能力，充分利用集群资源。

技术领域

本申请涉及数据库技术领域，尤其涉及一种集群负载调度方法、装置、电子设备和存储介质。

背景技术

具体地，HDFS是一种开源的分布式文件存储系统，为其向上的生态提供存储服务，HBase是一种开源的分布式NOSQL数据库，提供KV(Key-Value)数据的高性能载入与查询；HBase的数据存储大多直接利用HDFS进行，两类分布式的系统通常情况下都部署在同一集群。

在非对称部署的情况下(集群某些节点部署了HBase，某些节点没有部署HBase)。由于HBase的数据块Region数量受限于内存大小与HBase侧负责等逻辑，相关平衡策略认知HBase负载时以HBase中的Region个数在集群内进行负载分担，分配Region的位置，分配Region时无法关注到HDFS侧的负载情况，HDFS的平衡策略以磁盘为准则，对磁盘分布较重的DataNode的数据进行分担，由于两边独立进行负载分担，互不感知对方的负载使用情况，则在非对称部署的集群中容易将Region存储在数据集中在HBase所在节点，当HBase所在节点磁盘爆满时也不会将对应Region分配至集群中空闲的节点。

申请内容

本申请旨在至少在一定程度上解决上述相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种集群负载调度方法，解决了现有技术中HBase的平衡策略不感知HDFS侧的负载，导致数据块的分配集中在集群某些节点，无法充分利用集群的所有资源技术问题，通过对每一个节点的负载信息进行分析，确定比较空闲的节点，并引导数据块到磁盘较空闲的节点，提高集群整体负载能力，充分利用集群资源。

本申请的第二个目的在于提出一种集群负载调度装置。

本申请的第三个目的在于提出一种计算机设备。

本申请的第四个目的在于提出一种非临时性计算机可读存储介质。

为达上述目的，本申请第一方面实施例提出了一种集群负载调度方法，包括：获取多个节点中每一个节点对应的负载信息；若节点对应的负载信息满足预设不可调度条件，则确定为不可调度节点；将所述不可调度节点从所述多个节点中删除得到待评分节点；根据所述待评分节点中每一个节点对应的负载信息按照预设评分规则进行评分；根据评分结果从所述待评分节点中确定目标节点，并将待存储数据块调度到所述目标节点。

另外，本申请实施例的集群负载调度方法，还具有如下附加的技术特征：

可选地，所述获取多个节点中每一个节点对应的负载信息，包括：获取每一个节点对应的处理器使用信息和存储器使用信息；所述若节点对应的负载信息满足预设不可调度条件，则确定为不可调度节点，包括：若节点对应的处理器使用信息大于预设第一使用阈值；或若节点对应的存储器使用信息大于预设第二使用阈值，则确定为不可调度节点。