[发明专利]一种基于DBMS的元数据管理方法和元数据服务器

说明书

技术领域

本发明属于存储技术领域，涉及其中的海量存储系统，具体涉及元数据服务器和元数据管理方法。

背景技术

海量存储系统中需要保存Terabyte、Petabyte级别甚至更大规模的数据，海量数据本身的元数据量也非常巨大，为了满足海量存储系统对高I/O性能和管理灵活性的要求，如何管理海量存储系统的元数据并设计相应的元数据服务器是一个重要问题。

海量存储系统中数据的元数据，如文件的名字、属性和访问授权等都需要集中地由元数据服务器管理。访问海量存储系统中的数据时，首先需要访问元数据服务器，利用文件名等信息查询文件的元数据，获得数据属性和访问授权等元数据信息后，才能读取相应的数据。海量存储系统需要同时处理大量的访问请求，管理元数据所需的时间与空间开销、以及灵活性对海量存储系统的I/O性能有很大的影响。

海量存储系统中常用的元数据管理算法包括：目录子树分区法和文件哈希算法。1986年美国麻省理工学院的Popek等人提出的目录子树分区(Directory SubtreePartitioning)算法，将层次式的目录结构划分为若干子树，把不同的目录子树分布到不同的元数据服务器中，从而提高元数据管理的性能。但层次式的目录结构存在遍历开销大的问题，在执行目录改名和更改访问授权等操作时需要移动大量的元数据，影响了海量存储系统的性能。1996年IBM的P.F.Corbett等人提出的哈希(Hash)算法，通过设计相应的Hash函数，可以将同一目录下的文件均匀地分布到不同的元数据服务器中，能减少元数据操作中的瓶颈。但该算法破坏了目录的层次结构，在执行与目录有关的目录列表和访问授权管理等指令时，需要遍历所有的元数据信息；同样存在执行目录改名和更改访问授权等操作时，所需时间与空间开销较大的问题。2003年美国加利福尼亚圣克鲁兹大学存储系统研究中心的Scott A.Brandt等人提出的LH算法，在保持元数据的层次目录结构的同时，使用Hash函数计算路径名的哈希值来确定存放文件元数据的位置；在文件的权限访问方面，将文件的访问授权与目录的访问授权进行区分管理，提高了更改访问授权等操作的性能。但由于文件的访问授权未分散保存于访问路径中所有目录与文件中，在更改某一个目录的访问权限后，需更新该目录下的所有子目录和文件的访问权限，此外还会引发元数据一致性的问题。2007年华中科技大学的苏勇等人提出元数据共享存储池管理算法。由网络存储器构建共享存储池，元数据采用Hash函数进行分布，可以避免当某个目录成为访问热点时所存在的瓶颈问题。但存在Hash函数确定困难，适应性差等问题。

海量存储系统中元数据管理的特性分析

海量存储系统中通常将文件的元数据和数据分开存储，数据保存在存储设备中，元数据包括文件的属性、访问授权和数据的存储位置等信息，由专门的元数据服务器进行管理。主机在接收到用户访问数据的请求后，首先向元数据服务器发送请求，根据元数据服务器返回的数据地址信息，访问相应的存储设备。元数据服务器需要完成元数据的查找，比较访问授权信息和提取数据地址等一系列操作。此外还有不少用户的访问请求只需要对元数据进行处理，如文件的改名、移动、修改属性(文件大小、所有者、创建时间和修改时间等属性)的操作。

1、元数据的唯一标识

为了解决文件重名的问题，仅使用文件名查找元数据是不够的，还需要文件的访问路径等信息。另外，在访问文件的元数据时，需要查找的不仅是该文件的元数据，还有该文件访问路径上所有目录的元数据。

2、查找元数据的效率

采用层次结构的元数据组织方式在访问某一文件之前，需要依次、逐层地访问该文件访问路径上的所有目录，很难快速便捷地查找到某个文件。

3、不同的元数据管理要求

不同的文件和目录需要保存的属性类型与个数各不相同，传统元数据管理算法中，使用单一格式保存文件和目录的元数据，存在冗余、灵活性差等问题。

4、目录与文件的关联

目录作为海量存储系统中一类特殊的文件，与一般的文件有所不同，保存了目录所属的文件和子目录信息，还保存了目录和文件之间的层次信息，传统文件系统中采用文本文件保存。

发明内容

本发明的目的是解决海量存储系统中元数据管理方法所存在的时间与空间开销大、灵活性差等问题，提供一种高效管理元数据的方法，并构建一种用于海量存储系统的元数据服务器