[发明专利]分布式文件系统及其文件定位方法

说明书

技术领域

本发明涉及存储领域，尤其涉及一种分布式文件系统及其文件定位方法。

背景技术

在计算机架构中，文件系统用于存储、分层组织、操纵、导航、访问和检索数据。分布式文件系统作为单机文件系统的一种进化，近几十年来日趋流行。在分布式文件系统中，集成了多个物理设备的容量，文件系统可以跨多个物理设备分布。一般来说，分布式文件系统具有一定的容错性，某台设备的故障不会对整个文件系统产生致命的影响。当前比较著名的分布式文件系统主要有Lustre、HDFS和GoogleFS等。

目前主流的分布式文件系统都有元数据服务器，其负责控制整个文件系统的调度、检索和访问等。在所有客户端对文件进行请求前，都需要对元数据服务器发送请求。

虽然，元数据服务器在设计上简单，但也带来一些问题。当对元数据的操作过于频繁时，元数据服务器就成为整个文件系统的性能瓶颈。另一方面，这种元数据服务器的分布式文件系统具有单点故障问题，即当元数据服务器出现故障时，整个文件系统将陷入瘫痪。

鉴于元数据服务器的缺点，亟需一种解决方案来解决现有分布式元数据服务器的出现的性能瓶颈和单点故障问题。

发明内容

本发明所要解决的技术问题之一是需要提供一种能够消除元数据服务器的性能瓶颈和单点故障问题、实现对文件系统进行调度、检索和访问的分布式文件系统。

为了解决上述技术问题，本发明提供了一种分布式文件系统，包括：客户端和多个服务器，其中，当客户端需要操作文件时，其向任意一个服务器发送文件定位请求，所述文件定位请求中包括所要操作的文件的文件信息；该服务器接收来自所述客户端的文件定位请求，并根据所述文件请求，定位所要操作的文件所应存储的服务器，并将相应服务器的地址返回给客户端，所述客户端根据所述地址向相应的服务器发送文件操作请求以对所要操作的文件进行操作

在一个实施例中，各个服务器包括算法计算模块，其根据文件的文件信息，采用设定算法计算生成与所述文件对应的索引值，其中，计算得到的各个索引值服从平均分布。

在一个实施例中，所述算法计算模块通过以下步骤来计算生成与文件对应的索引值：确定文件信息中包含文件路径的文件名；对所述文件名进行填充，将其位长扩展至设定长度；对扩展后的文件名进行分组得到多个子分组；对所述多个子分组进行处理得到设定位长的索引值。

在一个实施例中，所述各个服务器包括文件定位模块，所述文件定位模块根据文件系统中服务器的数量，将关于索引值的范围划分为与所述服务器的数量相等的数据段，通过判断基于所述算法计算模块计算出的文件的索引值所落入的数据段，定位该文件所应存储的服务器。

在一个实施例中，所述文件系统增加或减少服务器时，所述文件定位模块重新计算当前文件系统中服务器的数量，将关于索引值的范围重新划分为与重新计算得到服务器的数量相等的数据段，通过判断基于所述算法计算模块计算出的文件的索引值所落入的数据段，重新定位该文件所应存储的服务器，其中，若文件所应存储的服务器发生变化，则将当前实际被存储的服务器上的文件映射到重新定位的服务器上。

在一个实施例中，在所述文件系统中的一文件被移动或被重命名时，所述算法计算模块根据变化后的文件信息计算生成与该文件对应的索引值，以及所述文件定位模块进一步通过判断该文件的索引值所落入的数据段，重新定位该文件所应存储的服务器，其中，若文件所应存储的服务器发生变化，则将当前实际被存储的服务器上的文件映射到重新定位的服务器上。

在一个实施例中，各个服务器还包括：服务器信息同步模块，其存储有其他服务器的信息，在增加或减少服务器时，对增加或减少的服务器的信息进行同步。

根据本发明的另一方面，还提供了一种分布式文件系统的文件定位方法，包括：确定文件的文件信息；根据所述文件信息计算生成与所述文件对应的索引值，计算得到的各个索引值服从平均分布；定位与所述索引值对应的服务器。

在一个实施例中，通过以下步骤来生成与所述文件对应的索引值：确定文件信息中包含文件路径的文件名；对所述文件名进行填充，将其位长扩展至设定长度；对扩展后的文件名进行分组得到多个子分组；对所述多个子分组进行处理得到设定位长的索引值。

与现有技术相比，本发明的一个或多个实施例可以具有如下优点：