[发明专利]基于MapDB构建的HBase数据检索方法

说明书

本发明公开了一种基于MapDB构建的HBase数据检索方法，包括如下步骤：a)通过数据接口操作MapDB数据库进行数据读写操作；b)在数据写入HBase之前，先对数据进行格式化，生成Hbase的RowKey作为一级索引，并对数据分割相应字段，将用于查询的字段及其对应的RowKey写入MapDB数据库中作为二级索引；c)接着再将数据在MapDB数据库中按照HBase的表及列进行分类存储；d)采用二级索引查询HBase时，先通过查询字段在MapDB中获取对应的RowKey集合，再通过HBase提供的get方法进行数据查询。本发明能够方便地采用二级索引查询Hbase，快速匹配数据，大大提高查询性能。

技术领域

本发明涉及一种数据库多字段查询方法，尤其涉及一种基于MapDB构建的HBase数据检索方法。

背景技术

HBase是一个分布式的、面向列的开源数据库，它是利用Hadoop HDFS作为其文件存储系统。随着HBase在性能和稳定性持续改善，HBase逐渐成为在大数据NoSQL领域的标准之一。在Hadoop之上提供了类似于Bigtable的能力，是Apache的Hadoop项目的子项目，其不同于一般的关系数据库而是一个适合于非结构化数据存储的数据库，另一个不同之处是HBase是基于列的而不是基于行的模式，以表的形式存储数据，表由行和列组成，列划分为若干个列族(row family)，如下表所示。

与nosql数据库一样,row key是用来检索记录的主键。访问HBase table中的行，只有三种方式：1、通过单个RowKey访问；2、通过RowKey的range；3、全表扫描。RowKey行键(Row key)可以是任意字符串(最大长度是64KB，实际应用中长度一般为10-100bytes)，在HBase内部，row key保存为字节数组。

目前HBase主要应用在结构化和半结构化的大数据存储上，其在插入和读取上都具有极高的性能表现，这与它的数据组织方式有着密切的关系，在逻辑上，HBase的表数据按RowKey进行字典排序，RowKey实际上是数据表的一级索引(Primary Index)，由于HBase本身没有二级索引(Secondary Index)机制，基于索引检索数据只能单纯地依靠RowKey，为了能支持多条件查询，开发者需要将所有可能作为查询条件的字段一一拼接到RowKey中，这是HBase开发中极为常见的做法，但是无论怎样设计，单一RowKey固有的局限性决定了它不可能有效地支持多条件查询。通常来说，RowKey只能针对条件中含有其首字段的查询给予令人满意的性能支持，在查询其他字段时，表现就差强人意了，在极端情况下某些字段的查询性能可能会退化为全表扫描的水平，这是因为字段在RowKey中的地位是不等价的，它们在RowKey中的排位决定了它们被检索时的性能表现，排序越靠前的字段在查询中越具有优势，特别是首位字段具有特别的先发优势，如果查询中包含首位字段，检索时就可以通过首位字段的值确定RowKey的前缀部分，从而大幅度地收窄检索区间，如果不包含则只能在全体数据的RowKey上逐一查找，由此可以想见两者在性能上的差距。

由上可见，如何在确保非侵入的前提下，以高性能为首要目标，通过建立二级多列索引实现了对复杂条件查询的支持，成为HBase最受关注的研究方向。

发明内容

本发明所要解决的技术问题是提供一种基于MapDB构建的HBase数据检索方法，能够方便地采用二级索引查询Hbase，快速匹配数据，大大提高查询性能。