[发明专利]分布式文件系统元数据缓存重删的方法、装置以及设备

说明书

本发明公开了一种分布式文件系统元数据缓存重删的方法、装置、设备以及计算机可读存储介质，包括：分别将待处理的分布式文件系统的各个文件元数据在内存中分割为多个属性组；对所述各个文件元数据的属性组进行重删计算，根据所述重删计算结果，建立所述分布式文件系统的重删映射表；根据所述重删映射表，重新构建所述各个文件元数据的内存结构。本发明所提供的方法、装置、设备以及计算机可读存储介质，消除了元数据内存缓存的重复数据，提高内存容量使用率。

技术领域

本发明涉及分布式文件系统管理技术领域，特别是涉及一种分布式文件系统元数据缓存重删的方法、装置、设备以及计算机可读存储介质。

背景技术

大数据时代非结构化的数据成爆炸式快速的增长，海量数据以文件格式保存、管理、使用，造成文件数量很庞大。元数据是描述数据的数据，指用来描述一个文件的特征的系统数据，诸如访问权限、文件拥有者以及文件数据块的分布信息等。

不论是集中式管理还是分布式管理，都面临的元数据内存使用效率的问题；在内存有限的前提下，海量的文件之间存在大量的重复信息，这些重复的数据造成了内存使用量的浪费，也让缓存的元数据数据量变小。

综上所述可以看出，如何消除文件元数据内存缓存的重复数据是目前有待解决的问题。

发明内容

本发明的目的是提供一种分布式文件系统元数据缓存重删的方法、装置、设备以及计算机可读存储介质，以解决现有技术中中文件元数据内存缓存中存在大量重复数据，导致内存使用量的浪费的问题。

为解决上述技术问题，本发明提供一种分布式文件系统元数据缓存重删的方法，包括：分别将待处理的分布式文件系统的各个文件元数据在内存中分割为多个属性组；对所述各个文件元数据的属性组进行重删计算，根据所述重删计算结果，建立所述分布式文件系统的重删映射表；根据所述重删映射表，重新构建所述各个文件元数据的内存结构。

优选地，所述分别将待处理的分布式文件系统的各个文件元数据在内存中分割为多个属性组包括：

分别将待处理的分布式文件系统的各个文件元数据在内存中分割为基本属性组、统计信息数据组、数据分布属性组、扩展属性组、权限控制属性组和目录配额属性组。

优选地，所述对所述各个文件元数据的属性组进行重删计算，根据所述重删计算结果，建立所述分布式文件系统的重删映射表包括：

分别对所述各个文件元数据的各个属性组数据进行哈希计算，得到所述各个文件元数据的各个属性组的标识数据；

建立所述标识数据和所述属性组的初始映射表，若所述属性组内包括多个等值属性组，则在所述初始映射表内只保留一份所述等值属性组对应的属性组数据，得到所述分布式文件系统的重删映射表。

优选地，所述根据所述重删映射表，重新构建所述各个文件元数据的内存结构包括：

在构建所述各个文件元数据的内存结构时，对所述各个文件元数据进行重删映射，查找所述各个文件元数据的各个属性组的内存地址，以便于所述各个文件元数据缓存引用所述各个属性组内存。

优选地，所述对所述各个文件元数据进行重删映射，查找所述各个文件元数据的各个属性组的内存地址，以便于所述各个文件元数据缓存引用所述各个属性组内存包括：

对当前文件元数据进行重删映射，查找所述当前文件元数据的等值属性组；

获取所述等值属性组内存地址，以便于所述当前文件元数据缓存引用所述等值属性组内存地址；

若所述重删映射表内不存在当前属性组的等值属性组，则将所述当前属性组的属性组内存地址添加至所述重删映射表内，以便于所述当前文件元数据缓存引用所述当前属性组内存地址。

本发明还提供了一种分布式文件系统元数据缓存重删的装置，包括：