[发明专利]一种新型元数据管理系统和一种元数据属性混合索引方法

说明书

技术领域

本发明属于存储技术领域，涉及其中的元数据管理系统，具体涉及元数据索引的建立方法。 

背景技术

海量存储系统需要响应大量用户的元数据访问请求，据统计访问请求中有约70%均为对元数据的访问请求，元数据管理性能的优劣直接影响着海量存储系统的整体性能。海量存储系统中元数据包含多个属性，但用户访问一般集中在其中的某几个属性，从而使得同一条元数据中有些属性的使用频率很高、而有些属性使用频率较低，使用单一方法建立索引管理元数据无法针对元数据属性使用频率的不同，存在所需时间与空间开销大等问题。

海量存储系统中元数据管理问题的特性分析

海量存储系统中，每条元数据均包含名字、标识、时间、权限、摘要等多个属性，其中部分元数据属性经常会被用户访问，其余属性被访问的频率较低。因此使用同样的方法组织和管理难以带来良好的效果。

用户在访问经常被访问的元数据属性时，如何快速查找到所需的元数据属性是用户最关心的问题。在管理不经常被访问的元数据属性时，如何减少所需的额外时间与空间开销则是关键。

发明内容

本发明的目的是解决海量存储系统中现有的元数据管理方法所存在的时间与空间开销大等问题，提供一种元数据属性混合索引方法，并构建一种新型的元数据管理系统。

实现本发明目的的技术方案是，一种元数据属性混合索引方法，包括下列步骤： 1）将元数据属性划分为高频元数据属性和低频元数据属性，在附加元数据标识后分别存入高频元数据集和低频元数据集；2）对高频元数据集使用改进的KD-tree和B-tree建立索引；3）对低频元数据集使用人工免疫算法建立索引。

所述步骤1）具体包括下列步骤：

1.1）定义元数据属性的活跃度阈值                                                ，作为对元数据属性划分的依据。

1.2）定义元数据属性的活跃度，作为衡量元数据属性活跃度的依据，使用公式计算获得，其中是最近访问元数据属性的时间，是创建元数据属性的时间，是系统当前的时间，是元数据属性在当前时间之前的时间内被访问的次数。

1.3）当时，该元数据属性是高频元数据属性，当时，该元数据属性是低频元数据属性；

1.4）将所有元数据中高频元数据属性的值在附加相应的元数据标识后存入高频元数据集，将所有元数据中低频元数据属性的值附加相应的元数据标识（如文件的绝对路径、inode节点号等）后存入低频元数据集。

所述步骤2）具体包括下列步骤：

 2.1）收集高频元数据集中被用作查询条件的元数据属性（如文件名、文件后缀名等），构建高频元数据检索集；

2.2）如高频元数据检索集中包含不少于两个元数据属性，使用KD-tree建立高频元数据集的索引；

2.3）如高频元数据检索集中仅包含单个元数据属性，使用B-tree建立高频元数据集的索引。

所述步骤3）具体包括下列步骤：

3.1）将低频元数据集均衡的分为若干分区，每个分区包含数目基本相等的低频元数据；

    3.2）收集低频元数据集中被用作查询条件的元数据属性（如作者、类别和备注等），构建低频元数据检索集，用表示，其中n表示被用为查询条件的元数据属性个数，表示每个被用于查询条件的元数据属性；

3.3）每个低频元数据条目中被用作为查询条件的多个属性的值的集合构成一个自体，收集该分区中所有低频元数据条目中被用作查询条件的属性值，构成自体集，其中每个自体，n为被用为查询条件的元数据属性个数；

    3.4）定义检测器，其中每个与自体s中的类型相同；

3.5）对低频元数据检索集中的数值型元数据属性，使用计算与之间的子匹配度；

3.6）对低频元数据检索集中的非数值型元数据属性，将表示为以ASCII字符组成的字符串，此时包含l个ASCII字符，使用计算与之间的子匹配度；

3.7）设数值型元数据属性的个数是x个，非数值型元数据属性的个数是y个，使用计算检测器与自体s中之间的匹配度m；

3.8）定义匹配阈值为r，如匹配度则判断两者匹配；

3.9）使用否定选择算法，分别给每个低频元数据分区筛选出p个不与该分区中任何自体匹配的检测器，作为该低频元数据分区的索引；