[发明专利]分布式文件存储系统中数据管理的方法、系统以及相关设备

说明书

本申请实施例提供了一种应用于分布式文件存储系统的数据管理方法、系统和相关设备，该方法包括从待写入文件读出文件数据以形成n个文件数据单元，对所述n个文件数据单元进行冗余计算得到m个冗余数据单元，并所述n个文件数据单元分别写入位于分布式文件存储系统的多个数据节点上的n个文件块中，以及将所述m个冗余数据单元分别写入位于所述分布式文件存储系统的多个数据节点的m个冗余块中，其中n和m均为正整数；后续当有文件块出现异常时，可以对正常文件块及冗余块进行冗余计算恢复出异常文件块的内容。该方法在保障分布式文件存储系统容错性的前提下，提高了存储空间的利用率。

技术领域

本申请涉及数据存储领域，尤其涉及在分布式存储系统中数据管理的方法、系统以及相关设备。

背景技术

传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式存储系统，是将数据分散存储在多台独立的设备上。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

现有分布式存储系统将文件分成多个“块”(Block)存储到多个数据节点上，并在多个数据节点存储这些块的副本(为所述块的备份或拷贝)，并通过元数据记录文件与这些块/副本的对应关系、块/副本与数据节点的对应关系；由于每个块在多个数据节点有副本，当某个数据节点损坏时，文件访问设备可以从其他数据节点读取到损坏数据节点上存储的块的内容，使业务层对文件访问不受影响，提高了存储系统的容错性(fault tolerance)。

这种方法存在存储空间利用率低的问题，例如，以每个文件块2个副本为例，存储空间利用率＝1/(1+2)＝33％，如果副本更多，则存储空间利用率将更低。

发明内容

鉴于此，有必要提供一种数据管理方法，以提升分布式文件存储系统的存储空间利用率。

第一方面，本申请实施例提供了一种应用于分布式文件存储系统的数据管理方法，所述分布式文件存储系统包括多个数据节点，该方法包括：从待写入文件中读出文件数据以形成n个文件数据单元，所述n个文件数据单元包含所述读出的文件数据；对所述n个文件数据单元进行冗余计算，得到m个冗余数据单元；将所述n个文件数据单元分别写入所述多个数据节点上的n个文件块中，以及将所述m个冗余数据单元分别写入所述多个数据节点上的m个冗余块中；其中所述n、m均为正整数。

该方法可以减少冗余数据，有效提升存储空间的利用率。

在一个可能的方案中，所述n个文件块的存储位置分别位于所述多个数据节点中的n个数据节点上，所述将所述n个文件数据单元分别写入所述多个数据节点上的n个文件块中包括：并行地将所述n个文件数据单元分别写入所述n个文件块中。

在一个可能的方案中，所述n个文件块的存储位置分别位于所述多个数据节点中的n个数据节点上，所述m个冗余块的存储位置分别位于所述多个数据节点中另外m个数据节点中，所述将所述n个文件数据单元分别写入所述n个文件块中以及将所述m个冗余数据单元分别写入所述m个冗余块中包括：并行地将所述n个文件数据单元分别写入所述n个文件块、并行地将所述m个冗余数据单元分别写入所述m个冗余块中。

在一个可能的方案中，所述从所述待写入文件中读出文件数据以形成n个文件数据单元包括：确定从所述待写入文件中读出的文件数据量少于n个文件数据单元对应的数据量；在所述读取的文件数据末尾追加数据以形成所述n个文件数据单元。

在一个可能的方案中，所述分布式文件存储系统还包括管理所述多个数据节点的管理节点，所述方法还包括：向所述管理节点发送所述追加数据的数量。