[发明专利]集群负载调度方法、装置、电子设备和存储介质

权利要求书

1.一种集群负载调度方法，其特征在于，包括以下步骤：

获取多个节点中每一个节点对应的负载信息，其中，所述负载信息包括每一个节点对应的HDFS指标和HBase指标，所述HDFS指标包括进程垃圾收集时间、HDFS内存使用率和第一当前请求数量中的一种或者多种，所述HBase指标包括HBase内存占用率、第二当前请求数量和HBase存储数据块个数中的一种或者多种；

若节点对应的负载信息满足任一不可调度条件，则确定为不可调度节点，其中，所述不可调度条件包括：若所述进程垃圾收集时间大于预设时间阈值；若所述HDFS内存使用率大于预设使用率阈值；若所述第一当前请求数量大于预设请求阈值；若所述HBase内存占用率大于预设占用阈值；若所述第二当前请求数量大于预设使用阈值；若所述HBase存储数据块个数大于预设个数阈值；

将所述不可调度节点从所述多个节点中删除得到待评分节点；

根据所述待评分节点中每一个节点对应的负载信息按照预设评分规则进行评分；

根据评分结果从所述待评分节点中确定目标节点，并将待存储数据块调度到所述目标节点。

2.如权利要求1所述的方法，其特征在，所述获取多个节点中每一个节点对应的负载信息，还包括：

获取每一个节点对应的处理器使用信息和存储器使用信息；

所述若节点对应的负载信息满足预设不可调度条件，则确定为不可调度节点，包括：

若节点对应的处理器使用信息大于预设第一使用阈值；或

若节点对应的存储器使用信息大于预设第二使用阈值，则确定为不可调度节点。

3.如权利要求1所述的方法，其特征在，所述根据所述待评分节点中每一个节点对应的负载信息按照预设评分规则进行评分，包括：

根据预设公式对每一个节点对应的处理器使用信息、存储器使用信息、HDFS内存使用率和HBase存储数据块个数进行计算得到每一个节点对应的评分数值。

4.如权利要求1所述的方法，其特征在，所述根据评分结果从所述待评分节点中确定目标节点，并将待存储数据块调度到所述目标节点，包括：

将所述每一个节点对应的评分数值进行比较确定最小评分数值，确定所述最小评分数值对应的节点为所述目标节点，并将待存储数据块调度到所述目标节点。

5.一种集群负载调度装置，其特征在于，包括：

获取模块，用于获取多个节点中每一个节点对应的负载信息，其中，所述负载信息包括每一个节点对应的HDFS指标和HBase指标，所述HDFS指标包括进程垃圾收集时间、HDFS内存使用率和第一当前请求数量中的一种或者多种，所述HBase指标包括HBase内存占用率、第二当前请求数量和HBase存储数据块个数中的一种或者多种；

确定模块，用于若节点对应的负载信息满足任一不可调度条件，则确定为不可调度节点，其中，所述不可调度条件包括：若所述进程垃圾收集时间大于预设时间阈值；若所述HDFS内存使用率大于预设使用率阈值；若所述第一当前请求数量大于预设请求阈值；若所述HBase内存占用率大于预设占用阈值；若所述第二当前请求数量大于预设使用阈值；若所述HBase存储数据块个数大于预设个数阈值，则确定所述节点为不可调度节点；

删除模块，用于将所述不可调度节点从所述多个节点中删除得到待评分节点；

评分模块，用于根据所述待评分节点中每一个节点对应的负载信息按照预设评分规则进行评分；

存储模块，用于根据评分结果从所述待评分节点中确定目标节点，并将待存储数据块调度到所述目标节点。

6.如权利要求5所述的装置，其特征在，所述获取模块，还用于：

获取每一个节点对应的处理器使用信息和存储器使用信息；

所述确定模块，具体用于：

若节点对应的处理器使用信息大于预设第一使用阈值；或

若节点对应的存储器使用信息大于预设第二使用阈值，则确定为不可调度节点。