[发明专利]文件系统的元数据管理方法、装置、设备和介质

说明书

本公开提供了一种文件系统的元数据管理方法、装置、设备和介质，所述方法包括：获取元数据的特征信息和所述文件系统的负载信息中的至少一部分，其中，所述元数据是所述文件系统中的文件的属性信息；对获取的所述特征信息和所述负载信息中的至少一部分进行分析；根据分析结果，控制所述文件系统的预定任务的执行，其中，所述预定任务是用于去除所述元数据中的无效元数据。本公开提供的方法可以确定出执行去除无效元数据的任务的执行时机，从而在不影响文件系统中相关应用的正常运行的情况下将文件系统中的无效元数据去除，提高了文件系统中数据库的查询效率，进而也提高了文件系统的整体性能。

技术领域

本公开涉及数据处理领域，更具体地，涉及一种文件系统的元数据管理方法、装置、设备和介质。

背景技术

随着互联网技术的不断发展，互联网相关的应用越来越多，因此而产生的相关信息的数据量也越来越大，已经达到了千万亿字节（petabyte，PB）级别的数据量。目前，针对PB级别的数据进行存储变得非常普遍和愈发重要。但是，传统的本地磁盘存储方式早就无法满足现有应用的大容量、高扩展、低延时等要求。而键值对（Key Value，KV）存储数据库具有先天的高性能检索优势，因此，被广泛应用到大数据相关的存储和应用中。

在使用KV存储数据库来管理作为数据（如文件数据）的属性信息的元数据的文件系统（如，分布式文件系统）中，高效的元数据管理方法是决定其整体性能的一个重要因素。

KV数据库如RocksDB、LevelDB等，大多采用基于日志结构合并树（Log-StructuredMerge Tree，LSM-Tree）数据结构，为了保证数据访问的效率，涉及内容修改的操作是采用追加写入新数据（如，新的元数据），将旧数据（如，旧的元数据）置为墓碑数据（Tombstone，其指基于LSM-Tree结构的数据库在执行修改或删除操作时生成的无效数据（如无线元数据））的方法进行的。这种方式能够提高数据库的写入性能，但是在大量数据修改和删除操作之后，数据库内部会遗留大量的Tombstone数据，使得数据库的查询效率大幅度下降。

为了解决这一问题，通常KV数据库是根据数据库的参数配置（如，无效数据达到一定量时启动相关去除无效数据的操作）和数据库运行时状态（如数据库运行时是处于忙碌状态、一般状态还是空闲状态），后台启动清理（compaction）任务对如元数据的索引项进行优化和合并排序，去除冗余无效的Tombstone数据。在无外部干预的情况下，KV数据库触发清理任务的时机、处理范围和具体策略更多是根据自身配置和数据库局部运行状态来决定的，并且所述自身配置在一段时间内往往是不变的。因此，在文件系统采用KV数据库来管理元数据时，由于KV数据库仅依靠自身配置和局部状态触发清理任务，往往清理任务产生的时机不是最优，同时由于清理任务运行往往会产生数据互斥保护以及额外的输入/输出（Input/Output，I/O），反倒使得文件系统在正常场景下出现短时间性能抖动和访问阻塞的情况发生，从而影响文件系统的稳定性，无法发挥文件系统的最优性能。

因此，需要一种新的文件系统的元数据管理方法。

发明内容

针对上述问题，本公开提供了一种文件系统的元数据管理方法，该方法可以确定出执行去除上述无效数据（如无效元数据）的任务（如清理任务）的执行时机，从而在不影响文件系统中相关应用的正常运行的情况下将文件系统中的无效数据去除，提高了文件系统中数据库的查询效率，进而也提高了文件系统的整体性能。

本公开实施例提供了一种文件系统的元数据管理方法，包括：获取元数据的特征信息和所述文件系统的负载信息中的至少一部分，其中，所述元数据是所述文件系统中的文件的属性信息；对获取的所述特征信息和所述负载信息中的至少一部分进行分析；根据分析结果，控制所述文件系统的预定任务的执行，其中，所述预定任务是用于去除所述元数据中的无效元数据。

根据本公开实施例，其中，根据分析结果，控制所述文件系统的预定任务的执行，包括：根据分析结果，控制所述文件系统的预定任务的执行时机和执行范围中的至少一个。