[发明专利]Hadoop分布式文件系统中高可用的管理方法和装置

说明书

本申请实施例公开了一种Hadoop分布式文件系统中高可用的管理方法和装置。所述方法包括：获取Namenode所在节点在第i+1个时间周期至i+N个时间周期内每个性能信息的各项指标信息；对每个性能信息的同一指标信息在连续N个时间周期内的数据进行计算，得到每个时间周期中每个性能信息的各项指标信息；对同一性能信息在同一时间周期的全部指标信息进行计算，得到每个时间周期中每个性能信息的最终参数信息；对同一时间周期中全部性能信息的最终参数信息进行计算，得到每个时间周期的综合参数信息；根据每个时间周期内的综合参数信息，对在第i+N+1个时间周期至i+2N个时间周期中每个时间周期的高可用进行管理。

技术领域

本申请实施例涉及信息处理领域，尤指一种Hadoop分布式文件系统中高可用的管理方法和装置。

背景技术

针对HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)，Hadoop社区在Hadoop2.0.0版本中，在HDFS-1623(High Availability Framework for HDFS NN)以及相关JIRA中对NameNode增加了高可用性的支持；在Hadoop2.0.2版本中，在HDFS-3042(Automatic failover support for NN HA)对当时HA的功能增加自动切换的支持；在Hadoop3.0.0版本中，在HDFS-6440(Support more than 2NameNodes)实现了HA(HighAvailable，高可用)中支持多Standby的特性。当前Hadoop的HA支持1Active NN、多StandbyNN，且基于zookeeper实现HA自动切换。

在相关技术中，HDFS的HA实现方案需要大量资源提供支持，首先3到5个备用(Standby)的设备所需3到5台服务器资源及价值成本，包括服务器所占用机架空间、占用的网络带宽等成本；其次为ZKFC(Zookeeper Failover Controller，Zookeeper失效备援控制器)自动切换选举Active时的锁竞争导致的内存高占用问题，每个Datanode向每个Namenode注册并发送心跳信息所带来成倍增长的网络带宽占用问题，Standby Namenode节点同时tail editlog时造成的JournalNode带宽占用问题。

发明内容

为了解决上述任一技术问题，本申请实施例提供了一种Hadoop分布式文件系统中高可用的管理方法和装置。

为了达到本申请实施例目的，本申请实施例提供了一种Hadoop分布式文件系统中高可用的管理方法，包括：

获取Namenode所在节点在第i+1个时间周期至i+N个时间周期内每个性能信息的各项指标信息，其中，i和N均为自然数；

对每个性能信息的同一指标信息在连续N个时间周期内的数据进行计算，得到在第i+N+1个时间周期至i+2N个时间周期内每个时间周期中每个性能信息的各项指标信息；

对同一性能信息在同一时间周期的全部指标信息进行计算，得到在第i+N+1个时间周期至i+2N个时间周期中每个时间周期中每个性能信息的最终参数信息；

对同一时间周期中全部性能信息的最终参数信息进行计算，得到在第i+N+1个时间周期至i+2N个时间周期中每个时间周期的综合参数信息；

根据每个时间周期内的综合参数信息，对在第i+N+1个时间周期至i+2N个时间周期中每个时间周期的高可用进行管理。

在一个示例性实施例中，所述第i+N+n个时间内性能信息的各项指标信息是通过如下方式得到的，包括：

获取在第i+n个时间周期至第i+N+n-1的内性能信息的各项指标信息；