[发明专利]云存储元数据处理系统

说明书

本发明提供了一种云存储元数据处理系统，包括：接入模块，认证模块，元数据库，分区配置模块，分区驱动模块，终端模块，数据库管理模块，审计模块和维护模块。本发明能够在日益庞大的元数据量的情况下，稳定可靠的提供用户数据存储的具体位置信息，且为用户提供方便快捷的按区域查询、条件过滤、跨地域访问元数据、异地容灾等功能性支持。

技术领域

本发明涉及一种云存储元数据处理系统。

背景技术

在云存储服务体系中，数据的存储规模随业务规模的增长而不断的增长，相应的，元数据的规模也在日益提升，达到TB甚至更高的级别，这就对云存储服务的元数据系统的架构和实现提出了更高的要求。

元数据是指在云存储系统当中标识用户数据的具体存放位置的信息，从这个角度上讲，元数据系统就是一个KV（Key Value）系统，随着云存储服务的业务功能的不断丰富，在最基本的KV操作（即增、删、改、查等）的基础上，对元数据系统提出了更多的功能性要求，比如按区域查询（Range Get），跨地域快速访问，异地灾备，条件过滤（Filter）等等，海量的数据规模使得支持这些功能非常困难。

目前存在如下的几种解决方案：

1.放弃元数据存储

考虑到元数据的存储带来的各种问题，有些方案选择放弃元数据的存储，直接对用户数据的进行某种映射，把映射的结果关联到内部的实际存储服务节点上，这种方案的好处是节约了元数据存储和访问带来的各个环节的性能和资源开销，著名的开源系统Apache Cassandra系统即采用了该方案，这种方案的不足是无法提供按区域查询（RangeGet）和条件过滤等支持。关于Cassndra，参见http://cassandra.apache.org。

2.用B+/Trie树的数据结构对元数据进行组织和索引

传统的数据库（比如MySQL和各种新兴的NoSQL数据库（比如MongoDB等）即采用这种方案，这种方案的缺点是，单机版本受单机内存容量的限制，扩展性和性能不好，分布式版本的实现非常复杂，一致性、可用性等要求较难实现，也无法提供跨地域查询支持。关于MySQL，参见http://dev.mysql.com；关于MongoDB，参见http://www.mongodb.org。

3.采用日志结构合并树（Log Structure Merge Tree）的方式

Google的BigTable及其开源实现Apache HBase即采用这种方式，该方式提供很好的可扩展性，也可以提供条件过滤、按区域查询等操作，但其实现依赖于底层的GFS/Chubby、Apache Hadoop/Zookeeper等分布式基础设施，在实现时需要自下而上的完整生态系统的支持，而且方式本身是针对数据进行保存和分区的，在进行分区分裂和合并的时候，所有分区内的数据会参与其中，整个过程非常的笨重，该方式也无法提供跨地域查询支持。

发明内容

本发明的目的在于提供一种云存储元数据处理系统，能够在日益庞大的元数据量的情况下，稳定可靠的提供用户数据存储的具体位置信息，且为用户提供方便快捷的按区域查询、条件过滤、跨地域访问元数据、异地容灾等功能性支持。

为解决上述问题，本发明提供一种云存储元数据处理系统，包括：

接入模块，用于提供用户数据操作的访问接口，对用户访问数据的流程进行协调、控制和异常处理；

认证模块，用于提供云存储元数据处理系统的其它各个模块间操作调用的认证服务；

元数据库，用于存储划分好的预设大小的元数据单元，每个元数据单元包含若干个元数据；

分区配置模块，用于记录当前的所有元数据单元的分区配置的信息；