[发明专利]一种云环境下可扩展存储索引结构的实现方法

说明书

技术领域

本发明属于云存储技术领域，更为具体地讲，涉及一种云环境下可扩展存储索引结构的实现方法。

背景技术

随着计算机及网络技术的发展，云计算技术作为一种高性能、低成本的实用分布式计算技术，已被广泛运用于以大数据处理为代表的各种网络应用中。高可扩展性和可靠性的云存储系统逐渐成为大数据处理的首选方案之一，已有的优秀云存储系统包括：Google的GFS、MapReduce以及其开源实现Hadoop、亚马逊的Dynamo和Facebook的Cassandra等。相对于传统数据存储系统，云存储系统分布更广，支持数据更多，这就意味着云存储时代的辅助索引系统必然发生大的变化。

当前大多数的云存储系统都采用健-值（Key-Value）模型,将查询的键（key）和具体值（value）映射为键值对（kv-pair）来存取数据。该模型简单，适合通过主键进行查询。在单键查询的时候有着良好的表现，但却不能有效支持范围查询。实际的应用效果表明，这类基于Key-Value模型的云存储系统还存在一些亟待提高的地方。例如，对于一个在线视频点播系统来说，用户们往往倾向于采用多于一个的键值来进行查询，或需要查询特定属性处于某一个数据范围之内的视频信息。为了满足上述的应用需求，当前的解决方案主要是通过运行一个后台批处理任务（例如运行一个MapReduce的任务），来扫描整个数据集然后得到查询结果。然而，这类解决方案缺乏时效性，新存入的数据不能被及时的查询到，必须等到后台的批处理任务完成了完整的扫描，数据才会可查。上述分析表明，当前云存储系统在多维度查询和范围查询方面支持的都不是很理想、且时效性差，有必要构建云环境下存储索引结构。

目前少数基于不同数据结构的双层存储索引结构已经被提出。这些方案能够很方便地实现云存储系统的可扩展性，使云存储系统能够同时支持大规模的查询。但是，这些方案在全局索引中大都采用了基于P2P协议的覆盖网络来实现并行查询，但是P2P网络本身的维护比较复杂，查询时的网络开销也比较大，这会影响到云存储系统的查询性能。同时，由于现有的云存储系统一般都是master-slave结构的，要在这些节点上重新构建一个P2P网络，会对原有的存储系统带来一定的负面影响。

发明内容

本发明的目的在于克服现有技术的不足，提供一种云环境下可扩展存储索引结构的实现方法，以解决云存储系统中存储索引结构不支持范围查询以及缺乏实时性的问题。

为实现上述发明目的，本发明云环境下可扩展存储索引结构的实现方法，其特征在于，包括以下步骤：

（1）、建立主从式的可扩展存储索引的两层结构

整个存储索引结构分为上下两层，上层为全局索引，由全局索引服务器负责管理，下层为多个局部索引，每个局部索引由一个局部索引服务器负责管理；

对待索引的数据集进行切分，按照平均的原则，分成包含等量数据的数据子集，划分的数据子集的个数与局部索引服务器相等；然后，划分好的数据子集与下层索引服务器一一对应，并在各下层索引服务器中以SkipList为基础建立局部索引，下层索引服务器将数据子集的各个数据分别存放到局部索引的各个结点中，完成局部索引的建立；

在局部索引建立完成的基础上，各局部索引挑选桩结点作为自己索引范围的“代表”发布到上层的全局索引中；发布时，抽取发布的桩结点的元数据发送到上层的全局索引服务器中，元数据包括：索引的键，局部索引服务器IP地址，局部索引服务器磁盘物理块号，以达到减轻上层索引的内存开销和存储更多结点的目的；全局索引服务器接收到下层各局部索引发布的元数据后，通过SkipList的形式将这些元数据作为全局索引结点组织成一个全局索引，在逻辑上将下层各独立的局部索引关联起来，维持了索引空间的整体一致性；

（2）、发布元数据结点的调整

局部索引向全局索引发布桩结点的元数据进行关联后，各局部索引会根据预估的收益，判断是否要继续往局部索引的下一层级进行发布：

如果往局部索引的下一层级进行发布，云存储系统的查询速度变化率为正向，并且大于全局索引服务器的内存占用变化率，则将局部索引的下一层级结点的元数据发布到上层的全局索引中，否则，不往下一层级进行发布；

（3）、查询

3.1）、单键值查询