[发明专利]一种基于solr的Hbase的查询方法及装置

说明书

技术领域

本发明实施例涉及技术领域，尤其涉及一种基于solr的Hbase的查询方法及装置。

背景技术

近几年来，随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长。一些行业/企业的数据量达到数百TB甚至数十至数百PB，巨大的数据资产迫切需要数据价值化展示及对实时数据进行监测。

采用HBase来存储明细数据，供前台页面即时查询。HBase无可置疑拥有其优势，但其本身只对rowkey支持毫秒级的快速检索，对于多字段的组合查询却无能为力。针对HBase的多条件查询也有多种方案，但是这些方案要么太复杂，要么效率太低，现有的解决方案是基于Solr的HBase多条件查询。

基于Solr的HBase多条件查询原理是将HBase表中涉及条件过滤的字段和rowkey在Solr中建立索引，通过Solr的多条件查询快速获得符合过滤条件的rowkey值，拿到rowkey之后在HBASE中通过指定rowkey进行查询。

基于Solr的HBase多条件查询，Solr以及HBase端都可以不断进行优化，比如可以搭建Solr集群，甚至可以采用SolrCloud基于hadoop的分布式索引服务。但只能进行单表查询数据，对数据进行筛选、排序、分组、运算等操作受到了很大的限制。若是通过增加Hbase表列族存储大量数据，不利于数据管理。

发明内容

本发明实施例的目的在于提出一种基于solr的Hbase的查询方法及装置，旨在解决如何通过设计表实现对相关多表进行数据分析处理工具的问题。

为达此目的，本发明实施例采用以下技术方案：

第一方面，一种基于solr的Hbase的查询方法，所述方法包括：

根据需求将数据通过提前执行算法进行处理，将处理后的数据存储到HBASE表中；

查询所述HBASE表中的数据，使用HBASE提供的API进行数据的增、删、改和查操作，并完成对数据的计算和聚合运算；

在浏览器端完成数据的展示和实时监测。

优选地，所述根据需求将数据通过提前执行算法进行处理，将处理后的数据存储到HBASE表中，包括：

在集群中存储提取后的字段信息，通过定时任务将提取后的字段信息经过规整、分类、筛选插入到solr集群，若所述HBASE表是两张表相关联，则在两张表中新创建一个字段，将所述字段设置为unique Key属性的值。

优选地，所述查询所述HBASE表中的数据，使用HBASE提供的API进行数据的增、删、改和查操作，并完成对数据的计算和聚合运算，包括：

在Hadoop大数据集群中设置中间件，所述中间件用于将处理后的数据插入solr集群中，所述中间件用于提供一个接口，以使得系统调用所述接口并且提供封装的数据完成对数据的操作；

将请求后的数据集进行解析，根据所需要展示的形式不同可以使用不同的分类方法和聚合方法对数据进行封装。

优选地，所述根据需求将数据通过提前执行算法进行处理，将处理后的数据存储到HBASE表中之前，还包括：

将所述数据通过传输工具传输到nosql持久化集群，所述nosql持久化集群包括多台linux台服务器组成的HBase集群和solr环境和Hadoop、HBase和Solr为主要组件构建的通过策略提取有用信息的系统，所述系统用于对大数据进行预处理，筛选出有效数据，进行基本常规的分类，并按需求存储于Hbase。

优选地，所述在浏览器端完成数据的展示和实时监测，包括：

通过数据展示系统对solr集群中的数据进行查询、数据集解析、数据加工、重新封装，在页面中进行展示；

将表中需要创建索引的字段添加到预设文件中。

第二方面，一种基于solr的Hbase的查询装置，所述装置包括：

存储模块，用于根据需求将数据通过提前执行算法进行处理，将处理后的数据存储到HBASE表中；

查询模块，用于查询所述HBASE表中的数据，使用HBASE提供的API进行数据的增、删、改、查操作，并完成对数据的计算、聚合运算；

监测模块，用于在浏览器端完成数据的展示和实时监测。

优选地，所述存储模块，具体用于：

在集群中存储提取后的字段信息，通过定时任务将提取后的字段信息经过规整、分类、筛选插入到solr集群，若所述HBASE表是两张表相关联，则在两张表中新创建一个字段，将所述字段设置为unique Key属性的值。