[发明专利]用于查询过滤HBase服务器数据的方法及装置

说明书

技术领域

本发明涉及数据处理和数据查询技术领域，具体而言，涉及一种用于查询过滤HBase服务器数据的方法及装置。

背景技术

伴随着互联网技术的快速发展，网络的数据量正以极快的速度增长，分布式集群、分布式数据库、分布式应用等各种技术已经成为人们关注的焦点。分布式集群Hadoop是大数据时代的产品，能够解决大数据时代的海量数据处理问题。HBase是基于Hadoop之上的一个面向列的分布式数据库，为分布式应用提供了一种可扩展的、高性能的存储方案，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是运行在Hadoop上的NoSQL数据库，它是一个分布式的和可扩展的大数据仓库，也就是说HBase能够利用HDFS的分布式处理模式，并从Hadoop的MapReduce程序模型中获益。HBase本身就是十分强大的数据库，它能够融合key/value存储模式带来实时查询的能力，以及通过MapReduce进行离线处理或者批处理的能力。

如上文所述，目前HBase主要应用在结构化和半结构化的大数据存储上，其在存储上和读取上都具有极高的性能表现。但是，HBase不能支持条件、排序查询，只支持按照主键和主键的范围来查询。如果存储的数据量非常大，查询过程中必然造成通信时间延长，出现大量的网络IO，极大地降低了查询性能。

因此，需要一种新的用于查询过滤HBase服务器数据的方法及装置。

在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本发明提供一种用于查询过滤HBase服务器数据的方法及装置，能够极大地提高HBase服务器的数据查询效率。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明的一方面，提出一种用于查询过滤HBase服务器数据的方法，该方法包括：响应客户端指令，调用HBase协处理器；通过所述HBase协处理器获取查询请求；以及通过预定配置与查询请求，生成查询结果。

在本公开的一种示例性实施例中，还包括：通过HBase协处理器定义第一远程过程调用协议。

在本公开的一种示例性实施例中，还包括：通过HBase协处理器定义查询过滤类。

在本公开的一种示例性实施例中，通过HBase协处理器定义查询过滤类，包括：HBase协处理器继承第一远程过程调用协议；通过所述HBase协处理器的所述第一远程过程调用协议实现CoprocessorService与Coprocessor接口；以及重写HBase协处理器的第一远程过程调用协议方法。

在本公开的一种示例性实施例中，预定配置包括：在HBase集群的配置文件中配置查询过滤协处理器类；以及对HBase的表配置查询过滤的协处理器类。

在本公开的一种示例性实施例中，在HBase集群的配置文件中配置查询过滤协处理器类，包括：通过hbase-site.xml文件的hbase.coprocessor.region.classes属性添加查询过滤的协处理器类。

在本公开的一种示例性实施例中，对HBase的表配置查询过滤的协处理器类，包括：通过hbase shell对HBase的表的coprocessor参数进行查询过滤协处理器类配置。

在本公开的一种示例性实施例中，还包括：对每个RegionServer启动一个线程来处理请求。

根据本发明的一方面，提出一种用于查询过滤HBase服务器数据的方法，该方法包括：构建查询请求；发送查询请求至HBase服务器；以及通过coprocessorService方法获取返回结果。

在本公开的一种示例性实施例中，构建查询请求，包括：通过HBase协处理器的终端构建查询请求。

在本公开的一种示例性实施例中，通过HBase协处理器的终端构建查询请求，包括：定义用于进程通信的proto文件。

在本公开的一种示例性实施例中，proto文件，包括：结构化数据Message：结构化数据Message包括：请求输入消息与返回消息。

在本公开的一种示例性实施例中，还包括：远程过程调用服务接口Service：所述远程过程调用服务接口Service包括：定义第一远程过程调用协议。