[发明专利]元数据结构和基于其的操作方法、定位方法、切分方法

说明书

本发明公开了一种元数据结构和基于其的操作方法、定位方法、切分方法，该结构包括：目录元数据结构，所述目录元数据包括：目录索引；多个目录元数据，其中，所有目录元数据的数据字段为定长字段；文件元数据结构，所述文件元数据包括：文件索引；多个文件元数据，其中，所有文件元数据的数据字段为定长字段。本发明的元数据结构具有如下优点：实现元数据在内存与外存的统一表示，无需对元数据字段进行序列化和反序列化操作。

技术领域

本发明涉及计算机领域，具体涉及一种元数据结构和基于其的操作方法、定位方法、切分方法。

背景技术

分布式文件系统是一种普遍使用的存储系统。具有很多优点，如可扩展性强，维护简单，成本较低等，因此，很适合存储大量的，且增长很快的数据。但是，分布式文件系统也存在一些不足，如延迟较高，对元数据访问的可扩展性差等特点。

分布式文件系统中最为重要的就是关于元数据的管理，一种广泛使用的方法就是将元数据存放在键值存储(Key-Value Store)系统中。这种键值系统能够高效的完成元数据的查询，并且可以保证数据的一致性(Consistency)，持久性(Durability)。由于键值系统是目前被广泛应用的系统，所以采用键值系统存储分布式文件系统的元数据是非常适合的。

为了支持高效的元数据访问，在使用键值存储的系统中，需要在键值存储之上构建结构化元数据缓存层，将非结构化的元数据在内存中进行结构化。即对于一次创建或者更改元数据的操作，客户端首先将请求发送到元数据服务器，元数据服务器在接收到请求后，首先将元数据缓存在元数据服务器的结构化元数据缓存层，之后序列化到键值存储系统中，键值存储系统最后将对于元数据的更改持久化到硬盘。而对于一次读取元数据的操作，客户端首先将请求发送到元数据服务器，元数据服务器接收到请求后，如果元数据在结构化缓存中，则直接返回结果，如果不在结构化缓存中，则从键值存储中读取结果，并且反序列化到结构化缓存中。这种方法虽然能够在缓存命中的时候提供快速的数据处理，存在内存空间不能充分利用和序列化反序列化开销较大的问题。其中内存不能充分利用主要体现在结构化缓存和键值数据库中的非结构化缓存在数据的内容上具有一致性，但是却以不同的形态存储了两份内容。序列化和反序列化的开销体现在在缓存不命中的情况下，每一次对于一个文件元数据中一个部分的修改或者读取，都需要对整个文件的元数据进行序列化和反序列化操作，这种方式导致数据的处理比较低下。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的一个目的在于提出一种元数据结构，实现元数据在内存与外存的统一表示，无需对元数据字段进行序列化和反序列化操作。

为了实现上述目的，本发明的实施例公开了一种元数据结构，包括：目录元数据结构，所述目录元数据包括：目录索引；多个目录元数据，其中，所有目录元数据的数据字段为定长字段；文件元数据结构，所述文件元数据结构包括：文件索引；多个文件元数据，其中，所有文件元数据的数据字段为定长字段。

进一步地，所述目录索引为目录的路径，所述目录元数据包括目录的访问权限标识、目录的用户标识、目录的用户组标识、目录的访问时间和目录的全局唯一标识。

进一步地，所述文件索引包括目录元数据的父目录的全局唯一标识和目录文件名，所述文件元数据包括访问时间、访问模式、用户标识、组标识、修改时间、文件的内容的访问时间、文件的大小、文件块的大小和文件元数据的全局唯一标识。

根据本发明实施例的元数据结构，实现元数据在内存与外存的统一表示，无需对元数据字段进行序列化和反序列化操作。

本发明的另一个目的在于提出一种对上述实施例的元数据结构的操作方法，包括：所述目录元数据结构在存储过程中，使用所述目录的路径作为键，多个目录元数据作为值；所述文件元数据结构在存储过程中，使用目录元数据的父目录的全局唯一标识和目录文件名作为键，使用所述多个文件元数据作为值。