[发明专利]一种基于solr的Hbase的查询方法及装置

权利要求书

1.一种基于solr的Hbase的查询方法，其特征在于，所述方法包括：

根据需求将数据通过提前执行算法进行处理，将处理后的数据存储到HBASE表中，所述提取执行算法用于数据处理和格式转换；

查询所述HBASE表中的数据，使用HBASE提供的API进行数据的增、删、改和查操作，并完成对数据的计算和聚合运算；

在浏览器端完成数据的展示和实时监测。

2.根据权利要求1所述的方法，其特征在于，所述根据需求将数据通过提前执行算法进行处理，将处理后的数据存储到HBASE表中，包括：

在集群中存储提取后的字段信息，通过定时任务将提取后的字段信息经过规整、分类、筛选插入到solr集群，若所述HBASE表是两张表相关联，则在两张表中新创建一个字段，将所述字段设置为unique Key属性的值。

3.根据权利要求1所述的方法，其特征在于，所述查询所述HBASE表中的数据，使用HBASE提供的API进行数据的增、删、改和查操作，并完成对数据的计算和聚合运算，包括：

在Hadoop大数据集群中设置中间件，所述中间件用于将处理后的数据插入solr集群中，所述中间件用于提供一个接口，以使得系统调用所述接口并且提供封装的数据完成对数据的操作；

将请求后的数据集进行解析，根据所需要展示的形式不同可以使用不同的分类方法和聚合方法对数据进行封装。

4.根据权利要求1至3任意一项所述的方法，其特征在于，所述根据需求将数据通过提前执行算法进行处理，将处理后的数据存储到HBASE表中之前，还包括：

将所述数据通过传输工具传输到nosql持久化集群，所述nosql持久化集群包括多台linux台服务器组成的HBase集群和solr环境和Hadoop、HBase和Solr为主要组件构建的通过策略提取有用信息的系统，所述系统用于对大数据进行预处理，筛选出有效数据，进行基本常规的分类，并按需求存储于Hbase。

5.根据权利要求1至4任意一项所述的方法，其特征在于，所述在浏览器端完成数据的展示和实时监测，包括：

通过数据展示系统对solr集群中的数据进行查询、数据集解析、数据加工、重新封装，在页面中进行展示；

将表中需要创建索引的字段添加到预设文件中。

6.一种基于solr的Hbase的查询装置，其特征在于，所述装置包括：

存储模块，用于根据需求将数据通过提前执行算法进行处理，将处理后的数据存储到HBASE表中；

查询模块，用于查询所述HBASE表中的数据，使用HBASE提供的API进行数据的增、删、改、查操作，并完成对数据的计算、聚合运算；

监测模块，用于在浏览器端完成数据的展示和实时监测。

7.根据权利要求6所述的装置，其特征在于，所述存储模块，具体用于：

在集群中存储提取后的字段信息，通过定时任务将提取后的字段信息经过规整、分类、筛选插入到solr集群，若所述HBASE表是两张表相关联，则在两张表中新创建一个字段，将所述字段设置为unique Key属性的值。

8.根据权利要求6所述的装置，其特征在于，所述查询模块，具体用于：

在Hadoop大数据集群中设置中间件，所述中间件用于将处理后的数据插入solr集群中，所述中间件用于提供一个接口，以使得系统调用所述接口并且提供封装的数据完成对数据的操作；

将请求后的数据集进行解析，根据所需要展示的形式不同可以使用不同的分类方法、聚合方法对数据进行封装。

9.根据权利要求6至8任意一项所述的装置，其特征在于，所述装置还包括：

传输模块，用于在根据需求将数据通过提前执行算法进行处理，将处理后的数据存储到HBASE表中之前，将所述数据通过传输工具传输到nosql持久化集群，所述nosql持久化集群包括多台linux台服务器组成的HBase集群和solr环境和Hadoop、HBase、Solr为主要组件构建的通过策略提取有用信息的系统，所述系统用于对大数据进行预处理，筛选出有效数据，进行基本常规的分类，并按需求存储于Hbase。

10.根据权利要求6至8任意一项所述的装置，其特征在于，所述监测模块，具体用于：

通过数据展示系统对solr集群中的数据进行查询、数据集解析、数据加工、重新封装，在页面中进行展示；

将表中需要创建索引的字段添加到预设文件中。