[发明专利]一种分布式计算文件管理方法、系统及其装置

说明书

技术领域

本发明涉及网络技术领域，特别是涉及一种分布式计算文件管理方法、系统及其装置。

背景技术

随着互联网技术的飞速发展，对于互联网上存在海量信息的处理就成为了难题。如果要在单机上处理这些数据量非常庞大的信息，就需要有很强的处理能力和端口能力，然而一方面这种高性能单机价格不菲，而且这种依靠单机的处理模式也是有限度的。因此人们提出了分布式计算的概念，利用互联网上有很多互连计算机的空闲资源来处理互联网上的海量信息。

而在分布式计算中比较重要方面就是分布式存储，由于数据量的不断增加，单机已经不能满足存储的需要，需要专门的设备来存储数据；同时数据的使用已经不仅仅局限于一个地方，一种系统的应用，而是对多个用户，多个系统的共享。因此分布式存储既能存储大容量的数据信息，又能满足对多系统、多用户的实时共享。

现有技术是将文件存储在专门的高速存储设备上，系统提供访问文件的接口。用户通过这些系统提供的接口来访问文件，通过高速的、可靠的存储设备来达到快速对文件的读、写操作。但是如果文件非常大，以及文件读写非常频繁，效率就很低。这是为了通用而牺牲了性能。

现有技术还提出一种针对特定场合的分布式文件处理方法，将文件按照块的方式保存在分布式节点机器上，通过一台主控机器保存文件元数据信息(文件包含多少块，各个块分别分布在哪个节点上)来进行分布式计算文件的存储。当用户读取文件时，先从主控机器上读取文件的块信息，然后根据块信息从分布式节点中读取文件数据；用户写入文件时，先从主控机器上读取文件信息，然后根据负载均衡，选择一个文件存放的节点；最后用户将文件数据写入到分布式节点中。但是这种方法只能允许用户顺序的读写，并且用户还根据文件各个块的分布情况编写相应的分布式代码，对用户来说是十分烦琐的，因此增加了用户的工作量。

发明内容

本发明要解决的问题是提供一种分布式计算文件管理方法、系统及其装置，降低分布式计算的复杂度，减轻用户的工作量。

为达到上述目的，本发明的实施例的技术方案提出一种分布式计算文件管理方法，包括以下步骤：向主服务器的全局文件注册；当需要对所述全局文件进行处理时，从所述主服务器调取所述全局文件的元数据；根据所述全局文件的元数据将所述全局文件包含的文件从各个分布式节点取回。

其中，在所述将全局文件包含的文件从各个节点取回后，还包括以下步骤：将所述从各个分布式节点取回的文件合并。

其中，所述全局文件的元数据具体包括：全局文件包含的文件及所述文件与分布式节点的对应关系。

其中，所述从主服务器调取全局文件的元数据具体包括以下步骤：向所述主服务器发送读取所述全局文件的请求；所述服务器根据所述请求将所述全局文件的元数据取出后下发。

其中，所述向主服务器的全局文件注册，具体包括以下步骤：各个分布式节点将所述分布式节点上的本地文件向所述主服务器注册；所述主服务器根据所述分布式节点上的本地文件注册信息修改所述全局文件元数据。

本发明的实施例的技术方案还提出一种分布式计算文件管理系统，包括客户端、主服务器和分布式节点，所述主服务器，用于对全局文件的元数据进行管理，并在所述客户端需要对所述全局文件进行处理时，将所述全局文件的元数据信息下发给所述客户端；所述分布式节点，用于将所述分布式节点上的本地文件注册到所述主服务器的全局文件上，并在接收所述客户端请求后将所述本地文件下发给所述客户端。

其中，所述主服务器包括全局文件管理模块和全局文件下发模块，所述全局文件管理模块用于对全局文件的元数据进行管理；所述全局文件下发模块用于在所述客户端需要对所述全局文件进行处理时，将所述全局文件管理模块中的全局文件元数据信息下发给所述客户端

其中，所述主服务器还包括注册接收模块，用于接收所述分布式节点向所述主服务器发送的注册信息，并将所述注册信息传给所述全局文件管理模块。

其中，所述分布式节点包括注册上报模块和文件数据下发模块，所述注册上报模块用于将所述分布式节点上的本地文件注册到所述主服务器的全局文件上；所述文件数据下发模块用于在接收所述客户端请求后将所述本地文件下发给所述客户端。

其中，在所述向主服务器的全局文件注册之前，还包括以下步骤：设定各个分布式节点上的本地文件与全局文件的对应关系。