[发明专利]一种拆分名字空间的元数据管理方法

说明书

技术领域

本发明涉及存储系统体系结构领域，特别是涉及一种拆分名字空间的元数据管理方法。

背景技术

随着世界信息化的不断推进，计算机已成为各行业中不可缺少的工具。在计算机中承载信息的存储管理软件正随着信息量的突增而日益受到人们的重视。

存储管理软件的功能是将物理存储介质(如磁盘、盘阵)组织成逻辑分组，以实现各种功能和特性。操作系统通过调用存储管理软件的接口为上层用户提供存储服务。

存储系统中所处理的数据有两类，一类是用户使用的数据，另一类是存储系统用于管理用户数据的数据，即元数据。数据访问的特点是IO量大，其CPU利用率低，对网络带宽要求高；元数据访问的特点是IO量小，其CPU利用率高，对网络延迟要求高。由于两类数据的差异性，存储系统将两类数据的信息和控制流区分，分别定义了数据和元数据处理的功能操作，并将对两类数据的管理分离到独立部件。其中处理数据的部件称为数据存储服务器；处理元数据的部件称为元数据服务器。

元数据服务器的设计从系统构成可以划分为两类：一类是单元数据服务器，它由一台元数据服务器为整个系统提供元数据服务，所有客户端的请求都发送到一台元数据服务器上并被执行。该设计方式的优点是元数据请求都在一台机器完成，不需要机器之间进行交互操作，具有实现相对简单、易于管理的特点。其缺点是扩展性差，当分布式文件系统面对较大规模的密集元数据请求是元数据服务器会成为性能瓶颈，从而降低整个系统的处理性能。另一类是多元数据服务器，它由多台元数据服务器为整个分布式文件系统共同提供元数据服务器。在这种多元数据服务器系统中，每一个元数据请求划分到其中一个元数据服务器进行处理。多元数据服务器结构的优点是扩展性好，能适用于较大规模的机群运算环境；缺点是多元数据服务器之间的负载平衡难以维持，对元数据的一致性维护复杂，可靠性实现复杂。

对于多元数据服务器结构，名字空间在元数据服务器的组织和划分是决定元数据处理扩展性和聚合处理性能的关键因素。现有的多元数据服务器一般采用以下四种方式来在多个元数据服务器上划分名字空间。

动态划分名字空间：该方法的核心思想是将文件系统看成多层结构，整个目录树以目录子树为单位划分在多个元数据服务器上，目录子树创建目录时根据目录子树的访问量来确定其存放位置，当访问量小时将目录放在相同的元数据服务器上，当访问量大时将目录存放在父目录和目录名的hash值所在的元数据服务器上。该方法能够根据访问负载动态调整名字空间的分布，但对于同一目录的访问热点则无法提供有效的方式来避免。

静态划分名字空间：该方法根据目录路径将目录子树划分成若干分区，多个分区被分布到多个元数据服务器上，分区内的元数据操作都在分区所在元数据服务器完成，不允许跨分区的元数据操作。该方法由于多元数据服务器维护的名字空间没有交叉所以能够有较好的可扩展性，但不能根据负载变化对元数据分布动态调整，也不能解决同一目录的访问热点问题。

利用hash表划分名字空间：将文件或目录根据其父目录和名字利用hash函数得一个值，按照该值来将文件或目录分布到多个元数据服务器上。对文件进行hash分布可以避免同一目录的访问热点问题，但由于同一目录中的文件由于hash被分布在不同元数据服务器上，导致丢失了局部性信息。对目录进行hash分布能够保持局部性信息，但同样不能解决同一目录的访问热点问题。

对名字块进行划分：在这种系统中，元数据与数据都存储在共享数据盘上，元数据按照数据的方式记录以块为单位记录到数据盘上，所有的服务器都可以访问到元数据。多个服务器通过分布式锁机制来实现对某一个元数据块的互斥访问。这种元数据管理方式便于维护元数据的一致性，但使用分布式锁来控制访问会增加系统通信消息数量，不仅会对系统扩展性有影响而且同样无法避免访问热点问题。

发明内容

本发明的目的在于提供一种拆分名字空间的元数据管理方法，其能在提高元数据服务器的扩展性的同时也避免了同一目录的访问热点问题。

为实现本发明的目的而提供的一种拆分名字空间的元数据管理方法，包括下列步骤：

A.创建文件系统；

B.对已创建好的文件系统进行管理。

所述步骤A还进一步包括：

A1.创建元数据服务器的元数据存储目录，初始化缓存结构；

A2.在指定的主元数据服务器上创建根目录的索引结点，其索引结点的索引号为1，令其子目录序号为0，创建目录文件以存放子目录序号为0的目录项信息；

A3.利用函数B确定其他元数据服务器的子目录序号，以此构建根目录的子目录分布数组；