[发明专利]一种基于协处理器的HBase二级索引创建方法以及系统

说明书

本发明涉及一种基于协处理器的HBase二级索引创建方法以及系统，根据预分区和随机散列策略，将索引数据和主数据进行逻辑分离；根据同一表中的不同列族，将索引数据和主数据进行物理分离。该系统包括：插入模块，用于在数据插入时，根据索引配置文件构建二级索引，将索引数据插入到二级索引区，将新生成的主数据插入到主数据区；还包括：查询模块，用于在数据查询时，根据索引配置文件构建查询条件，并行查询Region的二级索引区获取索引行键后，在Region上异步获取主数据。本发明提出的一种基于协处理器的HBase二级索引创建方法以及系统，可以高效、快速地对HBase进行字段检索。

技术领域

本发明涉及数据库技术领域，特别是一种基于协处理器的HBase二级索引创建方法以及系统。

背景技术

大数据时代的来临推动了数据存储、处理等多领域理论与工程实践的高速发展，未来的数据将会继续成爆炸式增长，传统的数据存储与管理方法已经难以适应当前大规模数据管理对效率的需求。为此，非关系型NoSQL数据库得以迅速发展。HBase作为NoSQL数据库的代表，已被广泛应用于各行各业的数据存储与管理中。与传统数据库相比，HBase只能根据行键或者行键的范围来查询，过于单一，不灵活，在大多数情况下，需要对HBase进行列值查询，而HBase对于列没有建立索引，需要用到更加高级的过滤器来查询。过滤器需要对全表进行扫描，查询效率较低，降低了通过列值查询HBase表的性能，并造成机器物理资源的浪费。

目前，在HBase上建立二级索引的方案主要有基于第三方独立引擎的方案、基于协处理器的方案、基于内存拦截的方案和基于互补簇式的方案等。

基于第三独立引擎的二级索引方案的有ElasticSearch和Solr。ElasticSearch和Solr是基于Lucene的全文搜索服务器，将HBase表中涉及查询的字段在ElasticSearch或者Solr中建索引。但是这种方式需要维护一套索引集群，造成额外开销。

基于协处理器的二级索引方案主要有华为提出的Hindex。该方案将数据和索引分开存储在不同表中，在主表中插入数据后，用协处理器将索引列写到另一张索引表中。但是，这套方案需要修改HBase源码，侵入性较大。同时，在Region分裂时，需要保持索引Region和数据Region的切分点在逻辑上一致。

基于内存拦截的方案主要有YoramKulbak和DanWashusen提出的IHBASE。该方案在Region级别建立索引而不是表级别，在内存满了刷入磁盘时，会进行拦截请求,并为内存中的数据构建索引，索引以另一个列族的方式存储在表内。但是需要重构HBase，并且最近几年都没有更新。

基于互补簇式的方案主要有中科院计算所提出CCIndex。该方案把数据的详细信息也存放在索引表中，不需要通过获取的行键再去原表中去查找数据。但是，在数据删除更新时，维护索引表中的数据比较复杂。同时，由于其禁用了底层HDFS的副本机制，造成数据可靠性下降。

发明内容

本发明的目的在于提供一种基于协处理器的HBase二级索引方法以及系统，以克服现有技术中存在的缺陷。

为实现上述目的，本发明的技术方案是：一种基于协处理器的HBase二级索引创建方法，根据预分区和随机散列策略，将索引数据和主数据进行逻辑分离；根据同一表中的不同列族，将索引数据和主数据进行物理分离。

在本发明一实施例中，根据预分区和随机散列，在同一个Region上，逻辑上分成二级索引区和主数据区，二级索引区用来存放索引数据，主数据区用来存放主数据。

在本发明一实施例中，将同一张表分成两个列族，一个列族用来存放索引数据，另一个列族用来主数据。

进一步的，还包括一种基于协处理器的HBase二级索引创建系统，包括：