[发明专利]基于分布式数据库的结构化数据查询方法

说明书

技术领域

本发明涉及数据库领域，尤其是HBase的结构化查询，具体地，涉及基于分布式数据库的结构化数据查询方法。

背景技术

随着日益增长的数据量，传统关系数据库已经无法很好地满足数据处理的需求，即使采用数据库集群技术，也需要耗费大量资源，增加的能力也并非线性增长，且还会受制于规模限制。所以出现各种NoSQL（非关系型的数据库）数据库，其中比较有代表性就是基于ColumnFamily（列族）存储形式的HBase（Hadoop Database）,因为收益于Hadoop平台的广泛应用，HBase也成为一个主流的NoSQL数据库。

HBase的特点就是没有固定schema（数据库对象的集合），所以这和有固定schema的传统关系数据库有很大区别，所以原本传统数据库中数据组织方式无法直接照搬到HBase中，且本身不带有类SQL（结构化查询语言，Structured Query Language）的查询语句，在使用和操作上有不小的难度。现有的Hive（建立在Hadoop上的数据仓库基础构架）提供了类似的SQL语句，但是它基于了MapReduce（编程模型，用于大规模数据集的并行运算），速度比较慢。

经检索发现如下相关专利文献。

申请号为201120121668.3、名称为搜索引擎性能测试系统的专利文献，其公开了一种搜索引擎性能测试系统，以解决每次测试时都需要重新建立索引和查询请求从而耗费的处理资源较大的问题。系统包括：存储器，用于存储预先指定的结构化数据和查询请求；搜索引擎服务器，连接于存储器，从存储器中获取进行搜索引擎性能测试的查询请求，并根据获取的查询请求在存储器存储的结构化数据中搜索与查询请求相匹配的结构化数据；搜索引擎性能测试装置，连接于搜索引擎服务器，用于根据从搜索引擎服务器获取的性能指标确定搜索引擎性能。但其速度较慢。

发明内容

针对上述现有技术中的缺陷，本发明的目的是提供一种基于分布式数据库的结构化数据查询方法，要解决的技术问题是提供一种方法使得HBase能够支持一种扩展性SQL的结构化查询，将SQL转化成HBase的NaiveAPI（以二进制方式，函式库(DLL)直接开放的应用程式开发接口(Application Programming Interface)，可以直接由C/C++来呼叫存取使用），方便了HBase的使用同时提供了更快的速度。

根据本发明提供的基于分布式数据库的结构化数据查询方法，包括如下步骤：

步骤1：本地解析是否存在Rowkey范围相关参数，获取Rowkey范围相关参数后通过HBase的coprocessor框架向相应的RegionServer（RS）发出sql语句，其中，RS表示区域RS，RegionServer（RS）表示对区域RS的管理附服务和对响应客户端的读写请求；

步骤2：每一个接受到的集群RS解析sql语句类型，根据不同的语句类型映射到不同的HBase操作对象。

优选地，所述步骤2，具体为：

每一个接受到的集群RS解析sql语句类型’select’,’insert’,’update’和’delete’，根据不同的语句类型映射到不同的HBase操作对象，其中，’select’对应scan对象，’insert’和’update’对应List<Put>对象,’delete’对应Delete对象；其中，List<Put>表示HBase中Put对象的列表集合。

优选地，还包括如下步骤：

步骤3：对于所有的值都用’’进行分割，如存在值包含’’则使用/’代替。

优选地，所述步骤3，具体为：

所有值类型前指定一个可选的二元组{postion,type},其中postion表示值所在位置，主要应用在’Select’语句中，type表示改值的类型，这个二元组决定了该sql中字段转化成HBase原生对象的最终结果。

优选地，postion的可选值包括rowkey，key，value；type的可选值包括prefix，regex，string，Integer，Long，double。

与现有技术相比，本发明具有如下的有益效果：

由于采用了上述技术方案，本发明的有益效果是为HBase提供了一种灵活快捷的结构化查询方法，使得原本系统能够更方便地从传统数据库移植到HBase上。

附图说明