[发明专利]一种海量房租信息的实时查询方法

说明书

本发明提供了一种海量房租信息的实时查询方法，包括部署Flume数据实时抽取系统、针对海量房租信息查询场景进行索引优化，封装数据二次检索过程，建立客户端到Hbase分布式数据库实时查询的Rest API、客户端直接调用Rest API完成多维组合即席查询，返回查询最终结果步骤，本发明将Flume应用至关系行业务数据库到Hbase分布式数据库之间的数据实时传输，保证数据传输的实时性，数据查询的一致性，通过SolrCloud分布式索引组件为Hbase中的Row Key添加二级索引，根据海量房租信息场景进行索引优化，保证系统在海量数据下对实时查询任务能在秒级作出响应，在系统封装数据二次检索过程中，二级索引对客户端完全透明，实现查询透明化。满足实时查询系统的可靠性、实时性以及操作透明性。

技术领域

本发明涉及大数据分析应用技术领域，尤其涉及适用于房屋中介服务中的一种海量房租信息的实时查询方法。

背景技术

在数据时代，不论是科学研究、电子商务还是互联网应用等领域。数据量呈现爆发式增长趋势，用户和应用程序能够在任何时间、任何地点、任何状态下创造数据，随着数据生成的自动化以及数据生成速度的加快，对信息检索的高效性、可靠性、便捷性提出了严苛的性能要求。

在现实的房租信息检索场景中，用户需要在海量的数据下，压秒级内完成的多字段组合即席查询服务，且查询方式多为模糊查询，而实际服务于用户查询的数据源位于传统的关系型业务数据库中，在数据量趋于海量时，超高的延迟性严重破坏了用户的查询体验，因此实时查询任务的低延迟、高可靠性、透明性成为工业界关注的热点，现在面临的问题是急需建立实时数据传输通道，将业务数据导入分布式数据库中，以进行更高效的查询，且分布式数据库也需要提供健壮的索引机制应对复杂的多维组合即席查询任务。

发明内容

针对上述背景技术所阐述的问题，本发明目的是提供一种海量房租信息的实时查询方法，解决现有技术的问题，保证数据查询的一致性，且海量数据场景下的查询任务可以在秒级内作出响应，满足实时查询系统的可靠性、实时性以及操作透明性。

为了达到上述目的，本发明提供如下技术方案：

一种海量房租信息的实时查询方法，其特征在于：包括如下步骤：

Q1、部署Flume数据实时抽取系统，将关系型业务数据库中的实时数据导入Hbase分布式数据库中，包括：

Q1-1、根据外部关系型业务数据库部署Flume服务：

即，A、部署Flume Source，指定数据源类型、数据库URL、表名和列名；B、部署FlumeChannel，指定传输内存、事务容量等；C、部署Flume Hbase Sink，指定Hbase地址、表名、列簇；

Q1-2、在Hbase中建立数据表，用于存储传统关系型业务数据库中的数据；

Q1-3、启动Flume服务，该服务的Agent监听数据库变化并同步到Hbase分布式数据库中；

Q2、针对海量房租信息查询场景进行索引优化，根据房租信息数据，优化分词处理器优化，建立精准索引，为Hbase表中的Row Key字段添加二级索引并实时同步至SolrCloud，包括：

Q2-1、创建Solr预设文件，添加除被索引的Hbase表中的Row Key字段以外其他所有字段作为二级索引字段，单独将Row Key字段设置为Solr索引的Unique Key；

Q2-2、创建Hbase索引预设文件，指定SolrCloud Collection名称，需要写入到Solr中的字段、Row Key字段名称；

Q2-3、将Solr预设文件和Hbase索引预设文件部署到SolrCloud，并启动SolrCloud服务，SolrCloud机器中的各个节点可以通过Hbase表中的其他字段对Row Key进行检索；