[发明专利]一种集群中工作节点的管理方法、系统及相关装置

说明书

本申请提供一种集群中工作节点的管理方法，包括：获取文件系统的工作节点；根据预设分组规则对所述工作节点进行分组；在每个分组内选取主工作节点，所述主工作节点用于接收分组内其余所有工作节点的心跳信息；控制所述主工作节点将心跳数据上传至管理节点，以便所述管理节点根据所述心跳数据管理所有工作节点。本申请可以降低与管理节点连接的工作节点数量，从而减少管理节点需要管控的工作节点数量，降低管理节点数据处理压力，从而提高HDFS的启动速度。本申请还提供一种集群中工作节点的管理系统、计算机可读存储介质和电子设备，具有上述有益效果。

技术领域

本申请涉及文件存储领域，特别涉及一种集群中工作节点的管理方法、系统及相关装置。

背景技术

随着业务的快速增长，集群的节点数也在增加，对单个大规模Hadoop(一种分布式系统基础架构)集群的需求也越来越强烈。单个大规模集群具有数据共享、计算资源共享、减轻运营负担和成本等三个方面的优势。但是单个大规模集群由于其规模庞大，可能包含相当于十几个集群的数据量。文件系统中工作节点的数量必然增多，这会导致管理节点压力也必然会很大，进而会导致大规模集群HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)启动会非常的缓慢，不利于HDFS的应用。

发明内容

本申请的目的是提供一种集群中工作节点的管理方法、管理系统、计算机可读存储介质和电子设备，能够提高HDFS的启动速度。

为解决上述技术问题，本申请提供一种集群中工作节点的管理方法，具体技术方案如下：

获取文件系统的工作节点；

根据预设分组规则对所述工作节点进行分组；

在每个分组内选取主工作节点，所述主工作节点用于接收分组内其余所有工作节点的心跳信息；

控制所述主工作节点将心跳数据上传至管理节点，以便所述管理节点根据所述心跳数据管理所有工作节点；所述心跳数据包括各工作节点的心跳信息和主心跳信息，所述主心跳信息为所述主工作节点的心跳信息。

可选的，根据预设分组规则对所述工作节点进行分组包括：

根据所述工作节点的总量确定分组数；

根据所述分组数对所述工作节点进行划分；其中，各所述分组之间所述工作节点的数量差小于等于1。

可选的，根据预设分组规则对所述工作节点进行分组包括：

根据所述集群的实时集群性能确定组内预算数量；

根据所述组内预算数量对所述工作节点进行分组。

可选的，在每个分组内选取主工作节点包括：

获取分组内所有工作节点的节点IP；

对所述节点IP进行波段比较，将所述节点IP最小的工作节点作为主工作节点。

可选的，在每个分组内选取主工作节点包括：

获取分组内所有工作节点的节点IP；

将所述节点IP的哈希值最小的工作节点作为主工作节点。

可选的，在每个分组内选取主工作节点之后，还包括：

生成包含所有主工作节点的主节点信息列表；所述主节点信息列表用于指示所述管理节点获取各所述主工作节点的心跳数据。

可选的，若所述管理节点未接收到目标主工作节点的心跳数据，还包括：

向所述目标主工作节点所在目标分组中的所有工作节点发送校验请求，用于校验所述目标分组中各工作节点的在位状态。