[发明专利]一种数据节点的分配方法、设备及介质

说明书

本发明公开了一种数据节点的分配方法，包括以下步骤：接收客户端的上传数据请求，并获取各个数据节点的负载使用信息；根据所述负载使用信息以及其中每个指标的对应负载权衡系数计算所述数据节点的综合评价值；以及选取本地机架上综合评价值最高的数据节点作为第一副本放置节点，选取非本地机架上综合评价值最高的若干数据节点作为其他副本放置节点。本发明还公开了一种计算机设备和可读存储介质。本发明提出的数据节点的分配方法、设备及介质可以通过综合考虑各个数据节点的负载使用信息，选取最优的存放副本的数据节点，从而实现负载均衡，提高集群系统的性能。

技术领域

本发明涉及分布式系统领域，更具体地，特别是指一种数据节点的分配方法、设备及可读介质。

背景技术

Hadoop分布式文件系统HDFS采用机架感知的多副本存储策略来实现超大规模数据的完整性、一致性和可靠性，当前在HDFS默认副本放置策略中，部分副本存放的数据节点是随机选择的，没有考虑数据节点的空间利用率，容易造成集群负载失衡，在平衡负载过程中还浪费大量网络传输时间和网络带宽，没有考虑节点服务器的硬件性能，异构机器对数据读写速率不一样，对数据节点的实时负载和数据节点之间的网络距离没有充分考虑，容易导致集群系统负载不均衡，数据节点距离较远时会降低数据传输效率，影响运算性能，导致集群系统性能下降。

发明内容

有鉴于此，本发明实施例的目的在于提出一种数据节点的分配方法、设备及介质，可以通过综合考虑各个数据节点的负载使用信息，选取最优的存放副本的数据节点，从而实现负载均衡，提高集群系统的性能。

基于上述目的，本发明实施例的一方面提供了一种数据节点的分配方法，包括如下步骤：接收客户端的上传数据请求，并获取各个数据节点的负载使用信息；根据所述负载使用信息以及其中每个指标的对应负载权衡系数计算所述数据节点的综合评价值；以及选取本地机架上综合评价值最高的数据节点作为第一副本放置节点，选取非本地机架上综合评价值最高的若干数据节点作为其他副本放置节点。

在一些实施方式中，所述获取各个数据节点的负载使用信息包括：判断各个数据节点的运行情况是否正常；响应于各个数据节点的运行情况正常，获取各个数据节点的负载使用信息。

在一些实施方式中，所述判断各个数据节点的运行情况是否正常包括：判断各个数据节点的负载率是否超过阈值。

在一些实施方式中，所述负载使用信息包括：磁盘使用率、磁盘转速、CPU使用率、CPU性能、内存使用率、网络距离以及网络带宽使用率。

在一些实施方式中，所述选取本地机架上综合评价值最高的数据节点作为第一副本放置节点包括：根据所述综合评价值由大到小对所有数据节点进行排序。

在一些实施方式中，还包括：将已选取的数据节点的信息发送给客户端，客户端将数据写入所述数据节点。

在一些实施方式中，所述其他副本放置节点包括第二副本放置节点和第三副本放置节点。

在一些实施方式中，所述第二副本放置节点和所述第三副本放置节点属于同一个机架。

本发明实施例的另一方面，还提供了一种计算机设备，包括：至少一个处理器；以及存储器，存储器存储有可在处理器上运行的计算机指令，指令由处理器执行以实现如下步骤：接收客户端的上传数据请求，并获取各个数据节点的负载使用信息；

根据所述负载使用信息以及其中每个指标的对应负载权衡系数计算所述数据节点的综合评价值；以及

选取本地机架上综合评价值最高的数据节点作为第一副本放置节点，选取非本地机架上综合评价值最高的若干数据节点作为其他副本放置节点。

本发明实施例的再一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。