[发明专利]一种分布式文件系统的输入/输出负载调整方法及装置

说明书

本发明实施例公开了一种分布式文件系统的输入/输出负载调整方法，所述方法包括：计算各个数据节点的节点冷热度，获取节点冷热度最大的最热数据节点的节点号和节点冷热度最小的最冷数据节点的节点号；计算所述最热数据节点中数据块的块冷热度，获取块冷热度最大的最热数据块的位置信息；获取所述最热数据块的备份数据块的位置信息，根据所述备份数据块的位置信息以及所述最冷数据节点的节点号，将所述备份数据块迁移到所述最冷数据节点内；向元数据节点发送主备标识修改请求。本发明实施例还公开了一种分布式文件系统的输入/输出负载调整装置。

技术领域

本发明涉及Hadoop分布式文件系统(Hadoop Distributed File System，HDFS)领域，尤其涉及一种分布式文件系统的输入/输出负载调整方法及装置。

背景技术

自大数据技术和Hadoop平台出现以来，已经成为各种业务平台(如教育云、医疗云、数据云等等)构建的核心技术。其中，HDFS是Hadoop大数据平台的核心系统，具有高容错性、高可扩展性等众多优点。

现有技术中，HDFS的架构包括一个元数据节点(Namenode)、多个数据节点(Datanode)以及客户端(Client)，其中，元数据节点用于存储和管理元数据，该元数据包括文件系统目录树信息、文件和数据块(Block)的对应关系信息以及数据块的位置信息；客户端用于提供与元数据节点和数据节点进行交互的应用程序编程接口(ApplicationProgramming Interface，API)，周期性的向元数据节点回报存储的数据块信息；数据节点用于存储数据，元数据节点或客户端可以向数据节点请求写入或读出数据块。

当HDFS中有大量数据分布时，尤其是在有新的数据节点加入或有数据节点退出时，会出现数据节点的数据分布不均衡的问题。为解决该问题，在HDFS内部集成数据分布调整模块，该数据分布调整模块可以有效地将数据分布到新的数据节点或其他数据节点上，实现数据的均衡化分布。在分布过程中其考虑每个数据节点中数据块的大小和数量，尽可能的让每个数据节点中的数据块和大小平均分布。

然而，对于一些对输入/输出(Input/Output，I/O)负载存在不同需求的业务，就存在较多的问题，尤其是在整体I/O系统性能上。如下为教育云的主要负载表现：

(1)一段时间内某个数据块是热点数据块，而其他数据块的使用较少；热点数据块的读写频度非常高，而其他数据块的读写频度就很低；

(2)一般情况下，对数据块的读操作很多，而写操作较少，但在写操作的时候，数据量较大，而HDFS对大块数据的写操作为顺序写，使得部分数据节点的写入数据块的频度非常高，而其他数据节点的写入数据块的频度就很低。

上述负载表现就导致各个数据块的I/O负载不均衡，有的数据块读写频度非常高，I/O负载大；有的数据块读写频度很低，I/O负载小；这样有高频率读写数据块的数据节点就会出现I/O负载过多、I/O性能整体快速下降、客户响应时间下降等问题。

发明内容

有鉴于此，本发明实施例期望提供一种分布式文件系统的输入/输出负载调整方法及装置，可以达到数据节点输入/输出负载均衡的目的。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种分布式文件系统的输入/输出负载调整方法，所述方法包括：

计算各个数据节点的节点冷热度，获取节点冷热度最大的最热数据节点的节点号和节点冷热度最小的最冷数据节点的节点号；

计算所述最热数据节点中数据块的块冷热度，获取块冷热度最大的最热数据块的位置信息；

获取所述最热数据块的备份数据块的位置信息，根据所述备份数据块的位置信息以及所述最冷数据节点的节点号，将所述备份数据块迁移到所述最冷数据节点内；