[发明专利]HBase二级索引方法及装置

说明书

技术领域

本发明涉及大数据软件分布式计算数据库(HBase，Hadoop Database)，具体涉及HBase的二级索引方法及装置。

背景技术

大数据(Big data)通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce(映射归约)、HBase一样的框架来向数十、数百或甚至数千的电脑分配工作。大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理(MPP)数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

HBase是一个分布式的、面向列的开源数据库，该技术来源于Fay Chang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase是基于列的而不是基于行的模式。

HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

与Yonghong Z-Data Mart等商用大数据产品不同，HBase是GoogleBigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据；Google Bigtable利用Chubby作为协同服务，HBase利用Zookeeper作为对应。

Hbase是按row key(行键值)排序，value(值)是不能排序的，如果想在rowkey之外构建索引，则需要构建二级甚至多级索引，HBase之前的版本并未支持二级索引，但是很多应用场合需要使用二级索引。故要引入二级索引。

发明内容

为了解决上述技术问题，本发明提供了分布式计算数据库HBase二级索引方法和装置，能够按照用户表的列族排序，给用户查找提供方便。

一种分布式计算数据库HBase二级索引方法，所述方法包括：

设置索引说明；

根据索引说明，创建HBase用户表的二级索引表。

优选地，所述索引说明包括二级索引表的格式、键值、排序方式。

优选地，所述用户表与二级索引表一一对应；所创建的二级索引表存储在对应的用户表所在的区域服务器上。

优选地，该方法还包括，根据用户的请求建立浏览器，在二级索引表中扫描数值，向用户反馈。

优选地，所述二级索引表按照用户表的列族(column Family)排序。

一种分布式计算数据库HBase二级索引装置，该装置包括：

设置模块，用于设置索引说明；

索引协处理器，用于读取所述索引说明，创建HBase用户表的二级索引表。

优选地，所述索引说明包括二级索引表的格式、键值、排序方式。

优选地，所述用户表与二级索引表一一对应；

所述索引协处理器还用于将所创建的二级索引表存储在对应的用户表所在的区域服务器上。

优选地，所述索引协处理器还用于根据用户的请求建立浏览器，所述浏览器用于在二级索引表中扫描数值，向用户反馈。

优选地，所述索引协处理器由HBase协处理器coprocessors实现。

本申请技术方案包括：一种分布式计算数据库HBase二级索引方法，所述方法包括：设置索引说明；根据索引说明，创建HBase用户表的二级索引表。本申请的技术方案对于HBase用户表建立二级索引，二级索引表能够按照用户表的列族排序，使得HBase用户表中原本不能直接查找的值，可以直接进行查找，给用户查找提供方便。特别地，对于Tautus平台的应用提供了实现的具体方案。

附图说明