[发明专利]集群文件系统中的有效数据管理

说明书

技术领域

本发明一般地涉及集群文件系统中数字信息的存储，特别地，涉及对节点间带宽的有效使用。

背景技术

集群文件系统允许多服务器使用到数据存储的独立路径访问相同的文件。一组独立节点通过主干交换机互相连接并作为一个系统一起工作。使用公共文件系统路径为用户(客户机)提供对位于系统中存储设备上的所有文件的访问。在一个集群文件系统中，每个节点都被配置成两个虚拟服务器，一个前端服务器和一个后端服务器。用元数据维护数据组在不同服务器上的位置。客户机对特定数据组的操作请求可以由集群中的任一节点接收。通过访问元数据，可以将特定的数据组定位在虚拟服务器之一上(或者如果节点没有配置虚拟服务器则在节点之一上)。然后通过接收节点将写数据典型地存储在该节点的高速缓存中。操作一完成，就将修改的数据组从高速缓存中清除，并发送到其原始位置。如果原始位置是在与接收节点不同的节点的虚拟服务器上，则须经过主干交换机传送数据组，从而消耗主干资源和带宽。

发明内容

本发明要解决的技术问题是提供一种客户机可以通过网络访问的集群文件系统。该文件系统包括多个包含在集群中的文件系统节点，包括第一节点和第二节点、将第一节点和第二节点互相连接的主干交换机以及用来标识存储数据组的节点的元数据结构。第一节点包含第一高速缓存和数据组控制器。如果特定数据组存储在第二节点上，则将数据组控制器配置为接收来自客户机对该特定数据组执行文件系统操作的请求，访问元数据结构以确定存储了特定数据组的节点，通过主干交换机从第二节点取回文件系统操作针对的特定数据组的第一部分并将该特定数据组的余下部分保留在第二节点中，将取回的第一部分存储于第一高速缓存中并在文件系统操作完成时修改元数据结构以指示至少该特定数据组的第一部分存储在第一节点中，在此该第一部分不通过主干交换机返回第二节点。

本发明还提供一种管理集群文件系统中的数据组的方法。该方法包括接收来自客户机的对存储在集群中的多个节点之一中的特定数据组执行文件系统操作的请求，通过主干交换机从第一节点取回特定数据组，将取回的特定数据组存储于第二节点的高速缓存中，执行所请求的对特定数据组的文件系统操作，并在完成所请求的操作时修改元数据以指示该特定数据组存储在第二节点中，在此该特定数据组不通过主干交换机返回第一节点。

本发明还提供适合于可编程计算机并具有用于在集群文件系统中管理数据组的计算机可读编码的计算机可读媒介的计算机程序产品。计算机可读编码包含用于以下操作的指令：接收来自客户机的对存储在集群的多个节点之一中的特定数据组执行文件系统操作的请求，通过主干交换机从第一节点取回特定数据组，将取回的特定数据组存储于第二节点的高速缓存中，对该特定数据组执行所请求的文件系统操作，并在完成所请求的操作时修改元数据以指示该特定数据组存储在第二节点中，在此该特定数据组不通过主干交换机返回第一节点。

本发明还提供多节点集群文件系统中的文件系统节点。该节点包括：通过主干交换机将该节点与至少一个第二节点互相连接的装置、高速缓存、指示存储了数据组的节点的元数据结构、接收来自客户机的对特定数据组执行文件系统操作的请求的装置、访问元数据结构以确定存储了特定数据组的节点的装置、通过主干交换机取回文件系统操作所针对的特定数据组的第一部分并在该特定数据组存储在第二节点上时将该特定数据组的余下部分保留在第二节点中的装置、将取回的第一部分存储于第一高速的装置以及在完成文件系统操作时修改元数据结构以指示至少特定数据组的第一部分存储在第一节点中的装置，在此该第一部分不通过主干交换机返回第二节点。

附图说明

图1示出了可用于实施本发明的集群文件系统的框图；

图2示出了图1所示的集群文件系统的节点的一个配置的框图；

图3A至3C示出了本发明集群文件系统一个实施例的顺序功能框图，其中整个数据组的位置从一个节点转换到另一个节点；

图4示出了图3A至3C所示的本发明实施例的方法的流程图；

图5A至5C示出了初始数据组处理的顺序功能框图，其中数据组可以被分为子组；

图6示出了图5A至5C所示的本发明实施例的方法的流程图；

图7A和7B接续图5A至5C的顺序功能框图，并解释本发明集群文件系统的实施例，其中可以在一个节点中重新组合子组；

图8示出了图7A和7B所示的本发明实施例的方法的流程图；