[发明专利]一种海量房租信息的实时查询方法

摘要

本发明提供了一种海量房租信息的实时查询方法，包括部署Flume数据实时抽取系统、针对海量房租信息查询场景进行索引优化，封装数据二次检索过程，建立客户端到Hbase分布式数据库实时查询的Rest API、客户端直接调用Rest API完成多维组合即席查询，返回查询最终结果步骤，本发明将Flume应用至关系行业务数据库到Hbase分布式数据库之间的数据实时传输，保证数据传输的实时性，数据查询的一致性，通过SolrCloud分布式索引组件为Hbase中的Row Key添加二级索引，根据海量房租信息场景进行索引优化，保证系统在海量数据下对实时查询任务能在秒级作出响应，在系统封装数据二次检索过程中，二级索引对客户端完全透明，实现查询透明化。满足实时查询系统的可靠性、实时性以及操作透明性。

主权项

1.一种海量房租信息的实时查询方法，其特征在于：包括如下步骤：包括如下步骤：Q1、部署Flume数据实时抽取系统，将关系型业务数据库中的实时数据导入Hbase分布式数据库中，包括：Q1‑1、根据外部关系型业务数据库部署Flume服务：即，A、部署Flume Source，指定数据源类型、数据库URL、表名和列名；B、部署Flume Channel，指定传输内存、事务容量等；C、部署Flume Hbase Sink，指定Hbase地址、表名、列簇；Q1‑2、在Hbase中建立数据表，用于存储传统关系型业务数据库中的数据；Q1‑3、启动Flume服务，该服务的Agent监听数据库变化并同步到Hbase分布式数据库中；Q2、针对海量房租信息查询场景进行索引优化，根据房租信息数据，优化分词处理器优化，建立精准索引，为Hbase表中的Row Key字段添加二级索引并实时同步至SolrCloud，包括：Q2‑1、创建Solr预设文件，添加除被索引的Hbase表中的Row Key字段以外其他所有字段作为二级索引字段，单独将Row Key字段设置为Solr索引的Unique Key；Q2‑2、创建Hbase索引预设文件，指定SolrCloud Collection名称，需要写入到Solr中的字段、Row Key字段名称；Q2‑3、将Solr预设文件和Hbase索引预设文件部署到SolrCloud，并启动SolrCloud服务，SolrCloud机器中的各个节点可以通过Hbase表中的其他字段对Row Key进行检索；Q3、封装数据二次检索过程，建立客户端到Hbase分布式数据库实时查询的Rest API，包括：Q3‑1、客户端通过Rest API发起多维组合即席查询请求；Q3‑2、程序自动发送组合字段至SolrCloud集群查询Hbase分布式数据库中满足要求的Row Key集合；Q3‑3、利用得到的Row Key查询Hbase分布式数据库中的完整记录，并返回给客户端；Q4、客户端直接调用Rest API完成多维组合即席查询，即客户端提交查询任务到系统指定的Rest Server端口，Rest Server监听到查询任务后启动查询程序，返回查询最终结果。