[发明专利]一种管理元数据的方法及装置

说明书

本发明提供了一种管理元数据的方法及装置，该方法包括：针对目录对应的至少两个分组，确定各分组对应的映射范围；将每一个文件对应的元数据分别存储至与其相匹配的映射范围对应的分组中；在监测到目录的存储容量不位于预设阈值范围内时，建立第一数量的虚拟目录，并根据分组迁移规则，针对当前存在的全部分组进行相应迁移处理。基于分组以分别存储海量元数据，故在目录的存储容量超限时，可以通过增加虚拟目录并迁移分组的方式，以通过虚拟目录经分组存储元数据，从而可以解决目录存储容量超限的问题。因此，本方案能够提高元数据的检索效率。

技术领域

本发明涉及计算机技术领域，特别涉及一种管理元数据的方法及装置。

背景技术

随着大数据时代的发展，非结构化的数据呈爆炸式增长，数据产生量日益暴增。例如，大规模传感器会产生海量的数据片段，从而形成数量庞大的小数据文件。其中，可以采用文件保存数据的方式以存储产生的海量数据，以便于数据共享及管理。

目前，针对文件对应的元数据，可以将海量的元数据均存储于文件系统的单一目录中。

但是，随着各元数据的不断存入，单一目录内元数据的数量易过大。故当需要查找目标文件以进行相应元数据检索时，现有的元数据管理方式会降低元数据的检索效率。

发明内容

本发明提供了一种管理元数据的方法及装置，能够提高元数据的检索效率。

为了达到上述目的，本发明是通过如下技术方案实现的：

一方面，本发明提供了一种管理元数据的方法，包括：

S1：针对目录对应的至少两个分组，确定每一个所述分组对应的映射范围；

S2：针对每一个文件对应的元数据均执行：将该元数据存储至与其相匹配的映射范围对应的分组中；

S3：在监测到所述目录的存储容量不位于预先设定的第一阈值范围内时，执行S4；

S4：建立第一数量的虚拟目录，并根据预先确定的分组迁移规则，针对当前存在的全部分组，进行相应迁移处理。

进一步地，每一个文件对应的元数据中均包括有该文件的名称；

所述S2，包括：针对每一个文件对应的元数据均执行：根据其中包括的文件的名称，计算所述名称对应的哈希值；确定与所述哈希值相匹配的目标映射范围，其中，所述哈希值位于所述目标映射范围内；将该元数据存储至所述目标映射范围对应的分组中。

进一步地，所述目录的存储容量符合公式一，其中，

所述公式一包括：

其中，X为所述目录的存储容量，n为所述至少两个分组的个数，N_i为所述至少两个分组中的第i个分组中存储的元数据的个数。

进一步地，所述第一数量为通过所述迁移处理，以使当前存在的任一虚拟目录的存储容量均位于所述第一阈值范围内的最小个数。

进一步地，在S4之后还包括：在监测到存在任一虚拟目录的存储容量不位于所述第一阈值范围内时，执行S4。

进一步地，所述分组迁移规则，包括：当前存在的全部分组中的各分组顺序排列，且当前存在的全部虚拟目录中的各虚拟目录顺序排列时，根据公式二确定每一个虚拟目录对应的分组的个数；

当前存在的全部虚拟目录的个数为所述第一数量时，根据确定出的每一个虚拟目录对应的分组的个数，将所述至少两个分组分别迁移至当前存在的每一个虚拟目录中，其中，对于任意两个虚拟目录，当其中的第一虚拟目录的排列顺序位于其中的第二虚拟目录的排列顺序之后时，该第一虚拟目录中的各分组的排列顺序均位于该第二虚拟目录中的各分组的排列顺序之后；