[发明专利]一种基于hadoop的副本放置节点确定方法及装置

说明书

技术领域

本发明涉及分布式文件系统副本存储技术领域，更具体地说，涉及一种基于hadoop的副本放置节点确定方法、装置、设备及计算机可读存储介质。

背景技术

目前，Hadoop是当前主流的企业大数据分析平台。Hadoop采用的是HDFS分布式文件系统来进行数据存储。HDFS采用主从式架构设计模式(master/slavearchitecture)，一个名称节点(NameNode)和若干数据节点(DataNode)构成HDFS集群。其中HDFS采用三副本冗余机制保证数据的安全性。HDFS默认的副本放置策略原则为：尽最大可能将其中两个数据块副本存储在一个机架上，将另一个数据块副本存储在另一个机架上，很好地在带宽资源及可靠性方面做了平衡。

然而默认副本放置策略具有一定的局限性，主要体现如下：选取副本存储节点时采用了随机机方式，HDFS虽然也考虑了数据节点的工作接连数的负载信息，但相对简单，并且是在随机选取存储节点之后才做出判断。这样的副本放置方式将导致副本的分布随意性大，特别在异构环境中很有可能出现分配较多数据副本的节点是性能较差的节点，这些情况将进一步造成有些节点具有很高的负载，有些节点却处于空闲状态造成数据传输效率的下降。

因此，如何确定副本的放置节点，以提高集群节点负载的均衡性，最终达到提升数据传输效率的目的，是本领域技术人员需要解决的。

发明内容

本发明的目的在于提供一种基于hadoop的副本放置节点确定方法、装置、设备及计算机可读存储介质，以确定副本的放置节点，提高集群节点负载的均衡性，最终达到提升数据传输效率的目的。

为实现上述目的，本发明实施例提供了如下技术方案：

一种基于hadoop的副本放置节点确定方法，包括：

根据目标副本的副本类型确定目标机架服务器；

从所述目标机架服务器中选取待放置节点，组成待放置节点集群；

从所述待放置节点集群中选取工作连接数小于连接数阈值的节点，并从所述工作连接数小于连接数阈值的节点中确实时负载最小的节点，作为所述目标副本的放置节点。

其中，所述根据目标副本的副本类型确定目标机架服务器，包括：

若所述目标副本的副本类型为第一个副本，则随机选取机架服务器作为所述目标机架服务器；

若所述目标副本的副本类型为第二个副本，则从与所述目标副本对应的第一个副本放置的机架服务器之外的其他机架服务器中，选取目标机架服务器；

若所述目标副本的副本类型为第三个副本，则判断所述目标副本对应的第一个副本放置的机架服务器于所述第二个副本放置的机架服务器是否相同；若相同，则从与所述目标副本对应的第二个副本放置的机架服务器之外的其他机架服务器中，选取目标机架服务器；若不相同，则将所述目标副本对应的第二个副本放置的机架服务器作为所述目标机架服务器。

其中，所述从所述待放置节点集群中选取工作连接数小于连接数阈值的节点，包括：

确定所述待放置节点集群中每个节点的工作连接数；

根据每个节点的工作连接数计算所述待放置节点集群的平均工作连接数，将所述平均工作连接数作为所述连接数阈值，并从所述待放置节点集群中选取工作连接数小于连接数阈值的节点。

其中，所述从所述工作连接数小于连接数阈值的节点中确实时负载最小的节点，作为所述目标副本的放置节点，包括：

确定每个工作连接数小于连接数阈值的节点的磁盘IO负载、内存负载、CPU负载以及网络负载；

根据每个工作连接数小于连接数阈值的节点的磁盘IO负载、内存负载、CPU负载以及网络负载和负载系数，确定每个工作连接数小于连接数阈值的节点的实时负载，并选取实时负载最小的节点作为所述目标副本的放置节点。

其中，所述根据每个工作连接数小于连接数阈值的节点的磁盘IO负载、内存负载、CPU负载以及网络负载和负载系数，确定每个工作连接数小于连接数阈值的节点的实时负载，包括：

利用实时负载确定规则确定每个工作连接数小于连接数阈值的节点的实时负载；所述实时负载确定规则为：

W＝λ_io×w_io+λ_mem×w_mem+λ_cpu×w_cpu+λ_band×w_band；