[发明专利]处理数据块的方法、发起恢复操作的方法和节点

说明书

本发明公开了一种用于处理一数据块的方法，所述方法应用于一数据节点，所述数据节点属于一分布式文件系统，所述分布式文件系统包括管理节点和N个数据节点，所述管理节点用于管理由客户端提供的数据块在所述N个数据节点上的存储，N是所述数据块的副本数目，其特征在于，所述方法包括：接收所述数据块；将所述数据块存储到存储单元中；生成一确认信息，所述确认信息用于指示出是否成功地将所述数据块存储到所述存储单元中，并且返回所述确认信息；以及向随后的数据节点传送所述数据块。因此，本发明可以减少数据块在彼此之间处于异地的N个数据节点中进行复制冗余时的传送时间。

技术领域

本发明涉及计算机技术领域，更具体地，本发明涉及一种用于处理一数据块的方法和数据节点、以及一种用于发起一数据块的恢复操作的方法和管理节点。

背景技术

Hadoop分布式文件系统(HDFS)是被设计成适合运行在通用硬件上的分布式文件系统。HDFS采用主从架构。一个HDFS集群由一个名字节点(Namenode)和一定数目的数据节点(Datanode)组成。名字节点是一个中心服务器，负责管理文件系统的名字空间以及客户端对文件的访问。集群中的数据节点负责管理它所在节点上的存储。

原生的HDFS集群为了保证数据的安全性，引入了复制冗余的概念，即按照预定的副本数目N(又称为复制系数，其中N∈n)来将每个数据块(block)写入到几个不同的数据节点之中。这种写入数据的操作采用链式的同步冗余传送方式。

具体来说，客户端会从名字节点获取一个用于存放数据块副本的数据节点的列表。这里，以数据块的副本数目N等于3为例进行说明。首先，客户端开始向列表中第一数据节点(Datanodel)传送数据块；第一数据节点接收该数据块，将该数据块写入到自己的本地磁盘中，并同时传送该数据块到列表中第二数据节点(Datanode2)；第二数据节点也是这样，接收并将该数据块写入到它的本地磁盘中，并同时传给第三数据节点(Datanode3)；第三数据节点接收数据块并写入到本地磁盘中，并且向第二数据节点传送用于指示自己的写入是否成功的第三确认信息；第二数据节点收到该第三确认信息后，将用于指示自己的写入是否成功的第二确认信息、连同该第三确认信息一起传送到第一数据节点；最后，第一数据节点将自己的第一确认信息以及所接收到的第二和第三确认信息一起传送到该客户端，使得客户端能够得知这个数据块复制过程的最终结果。

假设以T<K-1，K>(0＜K＜＝N，K∈n)来表示一个数据块从第K-1数据节点传送到第K数据节点所花费的时间，则这个数据块的整个写入过程所花费的时间T理论上是：T＝Max(T<0，1>，T<1，2>，...，T<N-1，N>)。

在进行数据块的本地数据冗余的情况下，这时所有的数据节点都位于一本地网络中，由于本地网络的传送速度很快，所以每个T<K-1，K>都很小并且相差无几，因此，整个传送时间T很短。

然而，在做因特网数据中心(IDC)级别的数据实时冗余方案的情况下，这时有些数据节点位于远离本地网络的一个或多个异地网络中，这种同步冗余传送方式将具有严重的局限。例如，假设第K数据节点与第K-1数据节点处于异地，则由于异地IDC的带宽限制，导致从第K-1数据节点传送到第K数据节点所花费的时间T<K-1，K>远远大于其他所有数据节点之间的传送时间段，从而使得整个传送时间T取决于T<K-1，K>。这将导致整个传送时间T变长，降低了HDFS集群的写入速度(wps)。

因此，需要一种用于处理一数据块的方法和数据节点，其能够在做IDC级别的数据实时冗余方案或异地冗余方案的情况下，减少数据块在彼此之间处于异地或传输带宽受限的N个数据节点中进行复制冗余时的传送时间。

发明内容