[发明专利]使用动态块大小粒度来为计算群集中的不同类型的应用优化文件系统

说明书

技术领域

本发明的各实施例涉及数据存储的领域，具体而言，涉及使用动态块大小粒度来为计算群集中的不同类型的应用优化文件系统。

背景技术

文件系统是用于存储和组织文件和数据的方法。文件系统使用存储子系统以维持文件和数据。文件系统是对存储子系统施加逻辑结构以使客户端计算机创建、存储和访问存储子系统上的数据的文件的管理结构。分布式文件系统是通过网络支持文件以及多个客户端的存储器资源的共享的文件系统。群集文件系统是一种使群集中的多个计算节点同时访问存储在共享存储子系统上的相同数据的分布式文件系统。

计算群集是带有多个节点的系统，所述多个节点彼此进行交互，以给客户端系统作为单个实体提供数据、应用、及其他系统资源。

计算群集通过允许节点和共享存储器被添加到群集中来提供可缩放性和可靠性。文件系统被用来管理数据在计算群集内的存储。通过将存储器的特定区域指定到要被存储的数据，存储器被计算群集中的文件系统分配。群集中的计算节点将文件系统视为带有对群集文件系统的共享存储子系统的直接访问的本地资源。

云计算是给客户端提供远程虚拟化计算资源作为服务的计算模型。云计算通过托管和通过网络远程并按需作为服务来提供资源，向客户端提供软件和硬件资源。从而，最终用户被允许按需利用计算资源，无需对基础结构和管理的投资。云计算的基础体系结构通常包括协力工作的服务器的大的分布式群集。

发明内容

相应地，在第一方面，本发明提供了使用动态块大小粒度来为计算群集中的不同类型的应用优化文件系统的方法：为群集中的每一个节点预留预定数量的存储分配区域，其中，每个存储分配区域都包括本地附接的存储器的单个存储盘上的一组连续的数据块；使用本地附接的存储器的单个存储盘上的连续的数据块集合，作为文件系统的块分配粒度，以便条带化要为所述群集中的计算操作而存储在文件系统中的数据；以及，使用共享存储子系统的单个数据块，作为文件系统的块分配粒度，以便条带化要为群集中的数据访问操作而存储在文件系统中的数据。

该方法还可以进一步包括将用于计算操作的数据分配到预留的存储分配区域中的至少一个。该方法还可以进一步包括，当所述群集中的节点的所述预留的存储分配区域的总数小于所述预定数量时，预留至少一个另外的存储分配区域，直到所述节点的预留的存储分配区域的总数等于所述预定数量。该方法还可以进一步包括将计算操作发送到所述计算群集中的节点，所述计算操作的数据被分配给所述节点的本地附接的存储器。该方法还可以进一步包括将分配给节点的本地附接的存储器的每个连续的数据块集合复制到所述群集中的第二节点的本地附接的存储器。该方法还可以进一步包括将用于数据访问操作的数据分配到共享存储子系统。该方法还可以进一步包括跟踪分配给所述共享存储子系统以及所述文件系统中的本地附接的存储器的每个数据块的位置。优选地，所述数据访问操作是从包括下列各项的组中选择的：簿记操作、数据传输操作、缓存管理操作、以及预先获取操作。该方法还可以进一步包括，如果节点的计算操作有故障，则在与所述计算操作相关联的数据被复制到其中的第二节点上重新启动所述计算操作。优选地，群集为远程客户端托管计算服务。

在第二方面，提供了使用动态块大小粒度来为计算群集中的不同类型的应用优化文件系统的系统，包括：计算群集，所述计算群集包括多个节点，其中，所述多个节点中的每一个都包括本地附接的存储器，耦合到所述多个节点中的每一个的共享存储子系统，以及耦合到所述共享存储子系统以及所述多个节点中的每一个的文件系统管理器，其中，所述文件系统管理器：为所述计算群集中的所述多个节点中的每一个预留预定数量的存储分配区域，其中，每个存储分配区域都包括本地附接的存储器的单个存储盘上的一组连续的数据块，使用本地附接的存储器的单个存储盘上的连续的数据块集合，作为文件系统的块分配粒度，以便条带化要为所述计算群集中的计算操作而存储在文件系统中的数据，以及使用共享存储子系统的单个数据块，作为文件系统的块分配粒度，以便条带化要为所述计算群集中的数据访问操作而存储在文件系统中的数据。

优选地，文件系统管理器将计算操作发送到所述计算群集中的节点，所述计算操作的数据被分配给所述节点的本地附接的存储器。